Новости НКРЯ
Старорусский корпус пополнен на 500 тыс. словоупотреблений. В него добавлены тексты разных жанров и временных периодов — от дошедших в поздних копиях псковских грамот XIV—XV вв. до ранних документов Петра I и трактатов 1690-х годов по риторике. Кроме того, теперь для поиска доступны Комиссионный список Новгородской первой летописи, сборники крестьянских челобитных и дипломатической переписки Москвы с Германией и крымскими татарами. Существенно усовершенствован морфологический анализ текста — словарь корпуса вырос примерно на 40 тысяч лексем.
В виде выдачи Частотность стало доступно больше результатов поиска, а еще больше можно скачать в виде электронной таблицы. Это очень важно для исследователя, которого интересуют не только самые распространенные варианты, но и более широкая картина. Теперь в таблице представлена 1000 самых частотных результатов запроса, а результаты выдачи с данными о частотности можно скачать в объеме до 5000 строк. Подробнее об этом и других видах выдачи читайте в Руководстве пользователя.
При выгрузке в формате Excel на вкладке Info теперь можно увидеть точное число не только найденных, но и скачанных документов и примеров. Пользователь сможет точнее оценить результаты выдачи и корректно их интерпретировать.
В Основном и Региональном корпусах появилась диахроническая статистика подкорпуса. Теперь вы можете сравнивать графики, характеризующие объем и состав текстов подкорпуса, меняющийся во времени, с текстами всего корпуса. Например, можно увидеть, что женщины-авторы в XIX веке пишут чаще художественную литературу, чем тексты других жанров, а в XX веке положение выравнивается.
Чтобы увидеть графики диахронической статистики, нужно нажать на кнопку (i) в шапке подкорпуса, выбрать раздел Статистика и перейти во вкладку Распределение по времени.
Вы можете выбрать уровень детализации, задать диапазон дат и сглаживание. Как пользоваться новыми диаграммами и графиками и как интерпретировать полученные результаты, можно узнать в подсказке рядом с названием виджета.
Напомним, что в феврале пользователям стала доступна диахроническая статистика Основного и Регионального корпусов.
В Портрете слова теперь можно исследовать отношение количества вхождений слова в категорию к объёму этой категории, умноженное на миллион (ipm). С помощью этого виджета можно определить, например, действительно ли Лев Толстой употреблял слово мир чаще других русских классиков, учитывая объём написанных ими текстов, и в чьих текстах больше всадников — М. Ю. Лермонтова или А.С. Пушкина.
Новая диаграмма доступна в виджете «Статистика текстов» Портрета слова. Пользователь может выбрать метаатрибут, для которого нужно построить диаграмму, из списка наиболее показательных атрибутов корпуса. Чтобы увидеть круговую диаграмму, содержащую точное число вхождений слова в категорию или число текстов, содержащих искомое слово, нужно переключиться с ipm на слова или тексты.
Кроме того, в виде выдачи «Статистика» появилась информация об ipm в таблице. По умолчанию таблица отсортирована по количеству вхождений. Чтобы изменить критерий сортировки, кликните на название колонки.
В корпусе «Социальные сети» появилась разметка тональностей текстов. Теперь для исследования можно отобрать тексты положительной или отрицательной тональности. Тексты, тональность которых определить не удалось, отнесены к неопределенной категории.
Разметка тональностей в корпусе «Социальные сети» появилась благодаря нашим Друзьям НейроКРЯ – с их помощью мы собрали данные для обучающего датасета, а затем обучили нейросетевую модель и разметили основной массив текстов корпуса. Поле в форме отбора подкорпуса и в информации о тексте отмечено специальным значком, означающим, что значения для атрибута сгенерированы НейроКРЯ.
В автоматической разметке могут встречаться ошибки. Если вы обнаружите их, пожалуйста, сообщите нам об этом с помощью кнопки «Сообщить об ошибке» в информации о тексте. Это поможет нам улучшить качество разметки.
Древнерусский корпус пополнен на 31 тыс. словоупотреблений. В него включены, в частности, памятники древнерусской литературы «Слово о погибели Русской земли» и «Задонщина», а также официально-деловые документы: «Устав князя Ярослава» и грамоты XIII—XV веков из Украины, Молдовы, литовско-белорусских земель, Смоленска, Новгорода, Пскова и Москвы. Словарь корпуса пополнился почти на тысячу лексем, в том числе добавлены более ранние упоминания таких современных слов, как чемодан, таможенник и странствие.
В Портрете слова Древнерусского корпуса появился виджет «Похожие слова». Как и в других корпусах, где доступен этот виджет, ближайшие семантические ассоциаты слова сгенерированы автоматически. Модель, использованная для поиска слов-ассоциатов в Древнерусском корпусе, а также обновленная векторная модель для Старорусского корпуса доступны для скачивания в разделе Нейросетевые модели НКРЯ.
В мае мы значительно расширили возможности сразу нескольких корпусов: Старорусского, Церковнославянского и Устного. В этих корпусах теперь доступны новые виды выдачи: Статистика, Частотность и n-граммы. Благодаря новому функционалу можно узнать, например, какие сочетания глаголов в богослужебных текстах встречаются чаще — пойте и превозносите или радуйтеся и веселитеся, а также определить, какие глаголы в императиве чаще встречаются с дополнением руку.
Статистические данные также появились в Портрете слова и Портрете корпуса. Кроме того, пользователям Старорусского, Церковнославянского и Устного корпусов доступна настройка выгрузки примеров и сортировки в режиме KWIC.
В этих корпусах, а также в Древнерусском корпусе и корпусах «Русская классика» и «От 2 до 15» теперь действует поиск по лемме и словоформе с помощью регулярных выражений.
Национальному корпусу русского языка – 20 лет!
29 апреля 2004 года сайт Корпуса был открыт для свободного доступа. Но работы по созданию НКРЯ начались значительно раньше, еще в 2000 году. Символично, что официальным «днем рождения» Корпуса стало именно 29 апреля – день рождения российского лингвиста, автора Грамматического словаря русского языка А. А. Зализняка (1935-2017).
Всё началось с идеи создать полное собрание текстов, которые были бы показательными с культурной точки зрения и отражали бы разнообразие прозы, написанной в период с 1965 по 2000 год. Сейчас НКРЯ – это 49 корпусов общим объемом более двух миллиардов слов. За 20 лет Корпус стал незаменимым инструментом для лингвистов, преподавателей, студентов и всех, кто интересуется русским языком.
Поздравляем создателей проекта и тех, кто помогает ему развиваться! Благодаря вам НКРЯ продолжает расти и совершенствоваться, предоставляя новые возможности для изучения русского языка.
Для тех, кому интересно узнать больше об истории и современных возможностях Корпуса, мы подготовили подборку материалов:
- Посмотрите, как выглядел сайт Корпуса 20 лет назад, в Музее НКРЯ.
- Погрузитесь в историю создания Корпуса «из первых уст» в специальном проекте «Большого города».
- Ознакомьтесь с Руководством пользователя и узнайте, как использовать корпус для разных задач.
- Изучите публикации о Корпусе в недавно обновленном разделе. Рекомендуем обратить внимание на свежую публикацию в журнале «Вопросы языкознания» о фундаментальной реконструкции и модернизации платформы НКРЯ.
- Скачайте и примените для собственных задач нейросетевые модели, которые используются для разметки слов и текстов Корпуса.
- Узнайте, как получить офлайновую версию Корпуса для исследований.
Тех, кто хочет принимать участие в развитии корпуса, приглашаем вступить в группу «Друзья НейроКРЯ». Вы будете первыми узнавать о готовящихся проектах и сможете принимать в них участие. Недавно мы запустили новый эксперимент, чтобы выяснить, какие определения слов лучше воспринимаются пользователями: взятые из словарей или сгенерированные нейросетью.
На сайте Национального корпуса русского языка появился новый раздел, посвящённый нейросетевым моделям, которые используются для разметки слов и текстов Корпуса.
Теперь пользователям доступны:
- токенизатор
- векторные word2vec модели, обученные на текстах из 7 корпусов, которые мы используем для поиска слов-ассоциатов
- модели для словообразовательной разметки
- модели для разметки тематики, жанров, типов текстов
Новый раздел будет полезен всем, кто интересуется обработкой естественного языка и хочет узнать больше о том, какие технологии машинного обучения применяются в НКРЯ. Пользователи могут ознакомиться с описанием моделей и скачать их для собственного использования. Перед скачиванием модели надо ознакомиться с лицензионным соглашением и принять его условия.
В апреле мы значительно усовершенствовали работу Древнерусского корпуса. В корпусе появились новые виды выдачи: Частотность, Статистика, n-граммы. Благодаря появлению в Древнерусском корпусе вида выдачи «Частотность» можно исследовать, например, какие существительные в корпусе чаще всего встречаются вместе. Кроме того, результаты выдачи теперь можно сортировать по контексту. В портрете корпуса появился Частотный словарь, доступный ранее в Основном, Газетном и других корпусах; частотный словарь памятников или их групп можно сравнивать со словарем корпуса текстов.
Появление нового функционала существенно расширяет возможности использования корпуса и автоматизирует рутинные процессы, которые ранее занимали у исследователя значительное время.
