Например, вот тут упоминается почти она, какой-то опенкап.

По-моему, такая задача, когда фиксировано какое-то множество, равновероятно выбирается его подмножество, строится выпуклая оболочка этого подмножества и требуется найти матожидание её размера (в количестве вершин) была на каких-то Ижевских или Петрозаводских сборах (видимо, зимних Ижевских сборах 2015, хотя не уверен).

Там простое (за исключением проблем со случаями, когда несколько точек одновременно лежат на одной прямой, предположим для простоты, что точки общего положения) решение за — ребро входит в выпуклую оболочку, если и только если его концы попали в выбранное множество, а также все оставшиеся выбранные точки лежат по одну сторону от этого ребра (используется общее положение, в вырожденных случаях всё немного сложнее). Зафиксировав один конец, а второй вращая вокруг первого и пересчитывая количество точек слева и справа от нашего отрезка, легко вычислить вероятности вхождения в выпуклую оболочку рёбер с фиксированным концом, так сделаем для n концов и сложим (опять-таки, нужно не посчитать ничего два раза).