Искусственный интеллект и машинное обучение
Научная статья
О декомпозиции метода построения энкодера языковой модели
Игорь Владимирович Трофимов
| Институт программных систем им. А. К. Айламазяна РАН, Веськово, Россия | |
|
itrofimov@gmail.com |
Аннотация. Энкодер в составе языковой модели является механизмом преобразования текстовой информации в эффективное числовое представление, пригодное для решения широкого круга задач обработки текста при помощи нейросетевых методов. В данной статье предложен способ декомпозиции процесса обучения языкового энкодера. Рассматриваются вопросы целесообразности такой декомпозиции с точки зрения снижения вычислительных затрат, контроля качества на промежуточных стадиях обучения, обеспечения интерпретируемости результатов каждой стадии. Приводятся оценки качества энкодера.
Ключевые слова: обработка естественного языка, нейронные сети, языковая модель, энкодер, контекстно-зависимые представления, разрешение лексической неоднозначности
Для цитирования: Трофимов И. В. О декомпозиции метода построения энкодера языковой модели // Программные системы: теория и приложения. 2023. Т. 14. № 1. С. 31–54. https://psta.psiras.ru/2023/1_31-54.
Полный текст статьи (PDF): https://psta.psiras.ru/read/psta2023_1_31-54.pdf.
Статья поступила в редакцию 13.11.2022; одобрена после рецензирования 17.01.2023; принята к публикации 09.02.2023; опубликована онлайн 19.02.2023.
