Розробка інтелектуальної системи семантичного пошуку в документах «Librarian» з використанням локальних мовних моделей

Навчальний заклад: Відокремлений структурний підрозділ «Гусятинський фаховий коледж Тернопільського національного технічного університету імені Івана Пулюя»

Автор: Вітко Святослав Богданович

Відділення: Інформаційні технології

Секція: Системи та технології штучного інтелекту

Область: Тернопільська

Опис:

Проєкт присвячений розробці інтелектуальної системи семантичного пошуку локальних текстових документів «Librarian». Актуальність дослідження зумовлена зростанням обсягів цифрової інформації та обмеженими можливостями традиційних засобів пошуку, що переважно працюють за ключовими словами і не враховують зміст документів. У роботі запропоновано підхід до пошуку інформації за семантичним змістом із використанням локальних мовних моделей і методів векторного представлення тексту. Розроблена система виконує індексацію документів, формує короткі змістові описи текстових фрагментів і створює їхні векторні представлення. Пошук здійснюється шляхом обчислення косинусної подібності між вектором запиту користувача та векторами документів. Для реалізації використано мову програмування Python, локальну мовну модель qwen2.5:3b, модель ембедінгу multilingual-e5-small, базу даних SQLite з розширенням sqlite-vec та фреймворк Flet. Проведено експериментальне дослідження швидкодії локальних мовних моделей і моделей векторизації тексту, а також тестування двох версій системи. Отримані результати підтвердили можливість ефективного виконання семантичного пошуку документів у повністю локальному режимі без використання хмарних сервісів. Розроблена система може бути використана для організації та аналізу великих масивів текстових документів на персональному комп’ютері.