TY - JOUR

T1 - Экспериментальное исследование моделей на основе инструкций для извлечения предметно-ориентированных сущностей из студенческих отчетов

AU - Мельникова, Антонина Владимировна

AU - Воробьева, Марина Сергеевна

AU - Glazkova, Anna V.

AU - Morozov, Dmitry A.

N1 - Экспериментальное исследование моделей на основе инструкций для извлечения предметно-ориентированных сущностей из студенческих отчетов / А.В. Мельникова, М.С. Воробьева, А.В. Глазкова, Д.А. Морозов // Труды Института системного программирования РАН. – 2026. – Т. 38. - № 2. – С. 165-182. – DOI 10.15514/ISPRAS-2026-38(2)-11. – EDN VKFCKA. Исследование выполнено при поддержке Министерства науки и высшего образования Российской Федерации в рамках государственного задания (FEWZ-2024-0052).

PY - 2026

Y1 - 2026

N2 - В работе исследовалась задача извлечения из студенческих отчетов ИТ-направлений предметно-ориентированных сущностей (ПОС), являющихся ключевыми терминами, навыками, именованными сущностями, отражающими тематическую специфику текста. В качестве решений рассматривались инструмент извлечения ключевых слов rutermextract, дообученная языковая модель mBART, большие языковые модели, управляемые инструкциями (YandexGPT, Saiga, Tlite). Дообучение mBART эффективно при достаточном объеме данных. Модели на инструкциях превзошли rutermextract, перспективны при малых объемах данных, особенно Saiga, выявляющая ядро сущностей. Выявлено, что стратегия выделения ПОС в тексте точнее, чем извлечение в виде списка. Однако задача требует дополнительных исследований: ошибочное извлечение ПОС (67-89%), проявляющееся в отсутствии пересечений с эталонными ПОС, указывает на трудности моделей в отделении ядра сущности от контекста. Основные ограничения - малый корпус (2933 текста) и простые инструкции. Перспективы исследования: детализированные инструкции, оценка подходов в других областях и типах текстов.

AB - В работе исследовалась задача извлечения из студенческих отчетов ИТ-направлений предметно-ориентированных сущностей (ПОС), являющихся ключевыми терминами, навыками, именованными сущностями, отражающими тематическую специфику текста. В качестве решений рассматривались инструмент извлечения ключевых слов rutermextract, дообученная языковая модель mBART, большие языковые модели, управляемые инструкциями (YandexGPT, Saiga, Tlite). Дообучение mBART эффективно при достаточном объеме данных. Модели на инструкциях превзошли rutermextract, перспективны при малых объемах данных, особенно Saiga, выявляющая ядро сущностей. Выявлено, что стратегия выделения ПОС в тексте точнее, чем извлечение в виде списка. Однако задача требует дополнительных исследований: ошибочное извлечение ПОС (67-89%), проявляющееся в отсутствии пересечений с эталонными ПОС, указывает на трудности моделей в отделении ядра сущности от контекста. Основные ограничения - малый корпус (2933 текста) и простые инструкции. Перспективы исследования: детализированные инструкции, оценка подходов в других областях и типах текстов.

KW - предметно-ориентированные сущности

KW - извлечение сущностей

KW - обработка естественного языка

KW - предварительно обученные языковые модели

KW - модели на основе инструкций

KW - генеративные языковые модели

KW - анализ отчетных документов

KW - обучение на основе инструкций

KW - domain-specific entities

KW - entity extraction

KW - natural language processing

KW - pre-trained language models

KW - instruction-based models

KW - generative language models

KW - report document analysis

KW - instruction tuning

UR - https://www.elibrary.ru/item.asp?id=89233159

U2 - 10.15514/ISPRAS-2026-38(2)-11

DO - 10.15514/ISPRAS-2026-38(2)-11

M3 - статья

VL - 38

SP - 165

EP - 182

JO - Труды Института системного программирования РАН

JF - Труды Института системного программирования РАН

SN - 2220-6426

IS - 2

M1 - 11

ER -