Использование статистических методов для создания лингвистического обеспечения информационно-поисковой системы

Рассмотрены проблемы создания информационно-поисковой системы с естественно-языковым интерфейсом запросов, в частности, подготовка словарей и поискового индекса, учитывающего синтаксическую структуру предложений документа. Предложен метод автоматического построения морфологического словаря и словаря словосочетаний, использующий статистический анализ достаточно большого множества текстов. Рассмотрен двухступенчатый алгоритм синтаксического анализа текста (использующий на первом этапе простой формально-грамматический анализ, а на втором - уточнение результатов его работы статистическими методами), а также алгоритм текстового поиска на основе результатов его работы. Приведены экспериментальные оценки качества работы предложенных методов.