Вопрос 6. Технологии текстового поиска

Дата добавления: 2014-11-24 | Просмотров: 1713

1. Понятие технологии текстового поиска

2. Основные задачи технологии текстового поиска

1.Текст является одной из основных форм обмена информацией в об­ществе. Поэтому текстовые сообщения преобладают в инфор­мационных системах.

Наиболее распространенными системами технологии обработ­ки текста являются системы текстового поиска. Их задача за­ключается в том, чтобы находить в заданных коллекциях на естественном языке такие документы, которые удовлетворяют информационным потребностям пользователей.

Технологии текстового поиска имеют дело с информацией. Это могут быть статьи из газет и журналов, технические руко­водства, отчеты, книги, письма, законодательные акты и пр. Основной единицей информации в системах текстового поиска является документ — объем информации, обладающий закон­ченным содержанием и какого-либо рода уникальным иденти­фикатором.

Системы текстового поиска оперируют электронными докумен­тами — документами, хранимыми в памяти компьютеров и доступными для автоматизированной обработки. Компьютер­ная обработка и анализ текстовых документов возможны лишь в случае если программно доступны отдельные элементы тек­стового документа. Поэтому недостаточно просканировать бу­мажный текстовый документ и хранить полученное его факсими­ле в памяти компьютера в виде какого-то графического файла. Необходимо иметь документ в оцифрованном виде — формате, когда каждый компонент текста программно доступен. Представление текстового документа в оцифрованном виде создается с помощью:

• ввода содержания документа с клавиатуры с использованием какого-либо текстового редактора;

• сканирования его с бумажного носителя и использования программы распознавания оптических символов;

• генерации текста программным путем распознавателями голоса и другими способами.

2. Современные технологии текстового поиска охватывают большой спектр проблем:

· теория информационного поиска;

· методы удовлетворения потребностей пользователей в:

- сборе информации;

- организации информации;

- хранении информации;

- поиске информации;

- распространении информации;

· обеспечение интерфейсов между пользователем и средствами управления ресурсами неструктурированной или слабоструктури­рованной информации, поддерживаемой в компьютерной среде. Значительное место в технологиях текстового поиска занимает обработка естественного языка. Под ней понимается компью­терное решение задач, связанных с пониманием, анализом, выполнением различных операций над текстами на естествен­ном языке, а также с их генерацией. Этот класс задач относит­ся к области искусственного интеллекта.

В середине 1990-х гг. во многих странах мира развернулись рабо­ты, связанные с созданием электронных библиотек.Они в зна­чительной мере оживили интерес к проблемам текстового по­иска. Возникли такие совершенно новые направления, как:

- обнаружение информации в глобальной компьютерной сети;

- текстовый поиск в Web;

- мультиязыковой поиск.

Активное развитие технологий текстового поиска стимулиро­вало создание поисковых систем более общего класса, которые имеют дело не только с текстовыми документами, но и с ин­формацией, представленной в различных иных средах. В таких мультимедийных системах содержание объектов поиска — доку­ментов — представляет собой сочетание:

- текстовых элементов;

- статических изображений;
- музыкальных произведений;
- мультфильмов;

- видеоклипов и т. п.

Системы текстового поиска оказали значительное влияние на формирование специфического класса информационных систем, называемых системами управления документами, которые широко используются в настоящее время во многих крупных коммерческих компаниях и в других организациях. В таких системах важная роль отводится не только методам обработки естественного языка, созданным для работы с текстовыми до­кументами, но и организации групповой разработки докумен­тов, их хранения, распространения, а также технологиям тек­стового поиска.