Прикладные программные системы
Научная статья
Восстановление текстовых последовательностей с использованием моделей глубокого обучения
Игорь Викторович Винокуров
| Финансовый Университет при Правительстве Российской Федерации, Москва, Россия | |
|
igvvinokurov@fa.ru |
Аннотация. В статье приведены результаты формирования, обучения и оценки качества работы моделей с архитектурами Encoder-Decoder и Sequence-To-Sequence (Seq2Seq) для решения задачи дополнения неполных текстов. Задачи такого типа достаточно часто возникают при восстановлении содержимого документов по их некачественным изображениям. Проведённые в работе исследования ориентированы на решение практической задачи формирования электронных копий отсканированных документов ППК «Роскадастр», распознавание которых стандартными средствами затруднительно или невозможно.
Формирование и исследование моделей осуществлялось на языке Python с использованием высокоуровневого API пакета Keras. С целью обучения и исследования моделей был сформирован набор данных, состоящий из нескольких тысяч пар. Каждая пара этого набора представляла собой неполный и соответствующий ему полный тексты. Для оценки качества работы моделей осуществлялось вычисление значений функции потерь loss и метрик accuracy, BLEU и ROUGE-L. Loss и accuracy позволили оценить эффективность моделей на уровне предсказания отдельных слов. Метрики BLEU и ROUGE-L использовались для оценки сходства между полными и восстановленными текстами. Полученные результаты показали, что обе модели Encoder-Decoder и Seq2Seq справляются с задачей восстановления текстовых последовательностей из их фиксированного множества, однако модель на основе трансформера Seq2Seq позволяет достичь лучших результатов по скорости и качеству обучения. (Связанные тексты статьи на русском и на английском языках).
Ключевые слова: модели глубокого обучения, Encoder-Decoder, трансформер Sequence-To-Sequence, восстановление текста, BLEU, ROUGE-L, Keras, Python
Для цитирования: Винокуров И. В. Восстановление текстовых последовательностей с использованием моделей глубокого обучения // Программные системы: теория и приложения. 2024. Т. 15. № 3. С. 75–110. (Рус., англ.). https://psta.psiras.ru/2024/3_75-110.
Полный текст двуязычной статьи (PDF): https://psta.psiras.ru/read/psta2024_3_75-110.pdf (клик по флажку в верхнем колонитуле переключает язык страницы).
Статья поступила в редакцию 03.03.2024; одобрена после рецензирования 14.04.2024; принята к публикации 15.08.2024; опубликована онлайн 23.09.2024.
