TY - JOUR

T1 - Методология иерархического многозадачного обучения нейронных сетей типа ERNIE 3 для анализа и генерации русскоязычных текстов

AU - Тотмина, Екатерина Вадимовна

AU - Бондаренко, Иван

AU - Серёдкин, Александр Валерьевич

N1 - Тотмина, Е. В. Методология иерархического многозадачного обучения нейронных сетей типа ERNIE 3 для анализа и генерации русскоязычных текстов / Е. В. Тотмина, И. Бондаренко, А. В. Середкин // Моделирование и анализ информационных систем. – 2025. – Т. 32, № 3. – С. 282-297. – DOI 10.18255/1818-1015-2025-3-282-297. – EDN ASKRQI.

PY - 2025

Y1 - 2025

N2 - Статья посвящена разработке методологии иерархического многозадачного обучения нейронных сетей, основанной на принципах архитектуры ERNIE 3, и экспериментальной апробации данной методологии на базе модели FRED-T5 для задач анализа и генерации текстов на русском языке. Иерархическое многозадачное обучение является перспективным подходом к созданию универсальных языковых моделей, способных эффективно решать разнообразные задачи обработки естественного языка (NLP). Предложенная методология объединяет преимущества специализированных энкодерных блоков для задач понимания текста (NLU) и общего декодера для генеративных задач (NLG), что позволяет повысить производительность модели и снизить вычислительные затраты. В работе проведён сравнительный анализ эффективности разработанной методологии на открытом бенчмарке Russian SuperGLUE с использованием предварительно обученной русскоязычной модели FRED-T5-1.7B. Экспериментальные результаты подтвердили существенное улучшение качества модели в режимах zero-shot и few-shot по сравнению с базовой конфигурацией. Дополнительно рассмотрены возможности практического применения разработанного подхода в решении реальных NLP-задач, а также даны рекомендации по дальнейшему развитию методологии и её интеграции в прикладные системы обработки русскоязычных текстов.

AB - Статья посвящена разработке методологии иерархического многозадачного обучения нейронных сетей, основанной на принципах архитектуры ERNIE 3, и экспериментальной апробации данной методологии на базе модели FRED-T5 для задач анализа и генерации текстов на русском языке. Иерархическое многозадачное обучение является перспективным подходом к созданию универсальных языковых моделей, способных эффективно решать разнообразные задачи обработки естественного языка (NLP). Предложенная методология объединяет преимущества специализированных энкодерных блоков для задач понимания текста (NLU) и общего декодера для генеративных задач (NLG), что позволяет повысить производительность модели и снизить вычислительные затраты. В работе проведён сравнительный анализ эффективности разработанной методологии на открытом бенчмарке Russian SuperGLUE с использованием предварительно обученной русскоязычной модели FRED-T5-1.7B. Экспериментальные результаты подтвердили существенное улучшение качества модели в режимах zero-shot и few-shot по сравнению с базовой конфигурацией. Дополнительно рассмотрены возможности практического применения разработанного подхода в решении реальных NLP-задач, а также даны рекомендации по дальнейшему развитию методологии и её интеграции в прикладные системы обработки русскоязычных текстов.

KW - ИЕРАРХИЧЕСКОЕ МНОГОЗАДАЧНОЕ ОБУЧЕНИЕ

KW - FRED-T5

KW - ОБРАБОТКА ЕСТЕСТВЕННОГО ЯЗЫКА

KW - НЕЙРОННЫЕ СЕТИ

KW - ГЕНЕРАЦИЯ ТЕКСТА

KW - АНАЛИЗ ТЕКСТА

KW - ZERO-SHOT ОБУЧЕНИЕ

KW - FEW-SHOT ОБУЧЕНИЕ

KW - SEQ2SEQ МОДЕЛИ

UR - https://elibrary.ru/item.asp?id=82884677

U2 - 10.18255/1818-1015-2025-3-282-297

DO - 10.18255/1818-1015-2025-3-282-297

M3 - статья

VL - 32

SP - 282

EP - 297

JO - Моделирование и анализ информационных систем

JF - Моделирование и анализ информационных систем

SN - 1818-1015

IS - 3

ER -