Коллокациями называют слова, которые часто встречаются вместе. 

Для поиска коллокаций в корпусе используется статистический подход, то есть коллокациями считаются такие сочетания слов, которые встречаются совместно чаще, чем случайно. Для подсчета коллокаций используются несколько статистических метрик (T-score, logDice, MI³, Loglikelihood). Агрегированная мера показывает геометрическое среднее мер t-score и MI³.

Все формулы подсчетов коллокаций были взяты из онлайн ресурса С.Эверта, посвященного калькуляции ассоциативных мер слов. Если в формуле есть логарифм, то используется натуральный логарифм.

Выдача коллокаций ранжирована: в топ списка попадают слова, наиболее тесно связанные друг с другом.  

Для поиска коллокаций нужно задать свойства ключа и коллоката.

Ключ –  это то слово, для которого нужно найти наиболее частотные сочетания. Ключ можно задать с помощью конкретной леммы или словоформы или при помощи набора грамматических, семантических и/или синтаксических признаков.

Коллокат –  это слово, образующее вместе с ключом коллокацию. Коллокат также может быть задан леммой, словоформой или сочетанием грамматических, семантических и/или синтаксических признаков, в том числе с помощью * в поле лемма.

Между ключом и коллокатом можно задать расстояние, но не более пяти слов. Это значит, что мы ищем коллокаты, которые чаще, чем случайно, встречаются от ключа на заданном расстоянии. Если мы хотим найти коллокаты, которые предшествуют слову в предложении, то расстояние нужно задавать с помощью отрицательного числа. Например, определение в русском языке, как правило, стоит до определяемого слова. Чтобы найти все определения для слова  дерево,  следует в поисковом запросе задать лемму дерево  как ключ, выбрать грамматический признак прилагательного как коллокат, а расстояние задать, например,  от -1 до -1.

Поиск коллокаций производится только для разборов с автоматически снятой омонимией. Нулевые расстояния между словами не учитываются, то есть при поиске одинаковых слов на любом расстоянии друг от друга среди результатов не будет примеров, в которых слово встречается только 1 раз.

Каждая из метрик коллокаций вычисляется по-разному и дает свое ранжирование коллокатов. Так, при использовании метрики MI³ наибольшие значения получают редкие коллокации, а при использовании t-score ранжирование получается в существенной степени сходным с простым ранжированием по частотам. 

Для расчетов каждой из метрик используются 4 значения:

w1 – количество вхождений ключа в корпус или подкорпус

w2 – количество вхождений слова-кандидата в коллокаты в корпус или подкорпус

w1w2 – количество вхождений сочетания (ключ + коллокат) в корпусе или подкорпусе 

N – объем корпуса или подкорпуса

Ниже приведены формулы, используемые для расчета коллокационных метрик.

LogDice

$$14 + \log \left( \frac{2 w_{12}}{w_1 + w_2} \right)$$

Loglikelihood

$$2 \left( w_{12} \log \left( \frac{w_{12} N}{w_1 w_2} \right) + (w_1 - w_{12}) \log \left( \frac{(w_1 - w_{12}) N}{w_1 (N - w_2)} \right) + (w_2 - w_{12}) \log \left( \frac{(w_2 - w_{12}) N}{(N - w_1) w_2} \right) + (N - w_1 - w_2 + w_{12}) \log \left( \frac{(N - w_1 - w_2 + w_{12}) N}{(N - w_1) (N - w_2)} \right) \right)$$

MI3

$$log \left( \frac{N w_{12}^3}{w_1 w_2} \right)$$

t-score

$$\frac{w_{12} - \frac{w_1 w_2}{N}}{\sqrt{w_{12}}}$$

Агрегированная мера

$$\sqrt{ \max\left(0, \frac{w_{12} - \frac{w_1 w_2}{N}}{\sqrt{w_{12}}}\right) \cdot \max\left(0, \log \left( \frac{N w_{12}^3}{w_1 w_2} \right) \right)}$$

Полученное значение каждой из метрик показано в таблице в соответствующем столбце. Коллокации в таблице отображаются в виде двух лемм.

Выдача коллокаций ранжирована: в топ списка попадают слова, наиболее тесно связанные друг с другом.  

Пользователь может самостоятельно выбрать столбец для ранжирования, например, столбец одной из метрик или столбец агрегированной меры.

На экране пользователю показывается не более 100 коллокаций.

Коллокации также можно выгрузить в форматах Excel и CSV, в этом случае объем выгружаемых коллокаций составляет не более 5000 единиц.