TY - JOUR

T1 - Анализ расхождений в аргументационной разметке научных статей на русском языке

AU - Пименов, Иван Сергеевич

N1 - РАЗРАБОТКА МЕТОДОЛОГИИ МНОГОАСПЕКТНОЙ РАЗМЕТКИ АРГУМЕНТАЦИИ В ТЕКСТАХ НАУЧНОГО ЖАНРА - НИР: грант № 23-21-00325. Российский научный фонд. 2023. EDN: DEAGUH Пименов, И. С. Анализ расхождений в аргументационной разметке научных статей на русском языке / И. С. Пименов // Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация. – 2023. – Т. 21, № 2. – С. 89-104. – DOI 10.25205/1818-7935-2023-21-2-89-104.

PY - 2023

Y1 - 2023

N2 - В работе представлен анализ расхождений между аннотаторами при разметке аргументации в научных статьях, итогом которого является формулирование рекомендаций по стандартизации разметки. Расхождения между аннотаторами исследуются на трех уровнях разметки: при выявлении тезисов (утверждений в составе аргументов), построении связей между ними, определении типовых моделей рассуждения в основе связей. Исследуемым материалом служат 20 аргументационных аннотаций 10 научных текстов двух тематик, где для каждого текста построено два варианта разметки от разных экспертов. В совокупности 20 аннотаций содержат 917 тезисов и 773 аргумента. Разметка каждого текста заключалась в моделировании его аргументационной структуры согласно стандарту Argument Interchange Format, посредством построения ориентированного связного графа с двумя типами вершин: информационными, которые соответствуют тезисам, и вершинами-схемами, указывающими на связи между тезисами и реализуемыми в них типовыми моделями (схемами) рассуждения из компендиума Уолтона. Расхождения между аннотаторами выявляются посредством автоматического сопоставления графов, представляющих аргументационную структуру одного и того же текста, в три этапа: 1) определение тезисов, представленных в одном графе и отсутствующих в другом; 2) обнаружение связей, различным образом соединяющих одинаково выделенные тезисы; 3) выявление различных моделей рассуждения в одинаково построенных связях. Типовые случаи расхождений устанавливаются по итогам экспертного анализа найденных несоответствий между элементами графов с учетом их структурной специфики (расположения тезисов в графе, расстояния между связанными тезисами в исходном тексте, соотношения общих частот моделей рассуждения и числа вызванных ими расхождений). Показано, что соответствия между разметчиками достигают в среднем 78 % на уровне тезисов, 55 % для построения связей, 60 % для определения моделей рассуждения. К типовым случаям расхождения относится выявление тезисов, приводимых без обоснования; построение связей между тезисами в одном абзаце и на расстоянии более чем трех абзацев; выявление двух конкретных аргументационных схем (вызывающих 40 % и 33 % расхождений) и смешение функционально различных моделей рассуждения ввиду разноаспектного восприятия связей аннотаторами. Итогом исследования являются рекомендации по аргументационной разметке, сформулированные для минимизации типовых случаев расхождения на каждом уровне аннотирования.

AB - В работе представлен анализ расхождений между аннотаторами при разметке аргументации в научных статьях, итогом которого является формулирование рекомендаций по стандартизации разметки. Расхождения между аннотаторами исследуются на трех уровнях разметки: при выявлении тезисов (утверждений в составе аргументов), построении связей между ними, определении типовых моделей рассуждения в основе связей. Исследуемым материалом служат 20 аргументационных аннотаций 10 научных текстов двух тематик, где для каждого текста построено два варианта разметки от разных экспертов. В совокупности 20 аннотаций содержат 917 тезисов и 773 аргумента. Разметка каждого текста заключалась в моделировании его аргументационной структуры согласно стандарту Argument Interchange Format, посредством построения ориентированного связного графа с двумя типами вершин: информационными, которые соответствуют тезисам, и вершинами-схемами, указывающими на связи между тезисами и реализуемыми в них типовыми моделями (схемами) рассуждения из компендиума Уолтона. Расхождения между аннотаторами выявляются посредством автоматического сопоставления графов, представляющих аргументационную структуру одного и того же текста, в три этапа: 1) определение тезисов, представленных в одном графе и отсутствующих в другом; 2) обнаружение связей, различным образом соединяющих одинаково выделенные тезисы; 3) выявление различных моделей рассуждения в одинаково построенных связях. Типовые случаи расхождений устанавливаются по итогам экспертного анализа найденных несоответствий между элементами графов с учетом их структурной специфики (расположения тезисов в графе, расстояния между связанными тезисами в исходном тексте, соотношения общих частот моделей рассуждения и числа вызванных ими расхождений). Показано, что соответствия между разметчиками достигают в среднем 78 % на уровне тезисов, 55 % для построения связей, 60 % для определения моделей рассуждения. К типовым случаям расхождения относится выявление тезисов, приводимых без обоснования; построение связей между тезисами в одном абзаце и на расстоянии более чем трех абзацев; выявление двух конкретных аргументационных схем (вызывающих 40 % и 33 % расхождений) и смешение функционально различных моделей рассуждения ввиду разноаспектного восприятия связей аннотаторами. Итогом исследования являются рекомендации по аргументационной разметке, сформулированные для минимизации типовых случаев расхождения на каждом уровне аннотирования.

KW - Разметка аргументации

KW - Расхождения в разметке

KW - Аргуменационная стурктура текста

KW - Научные тексты

KW - корпусная лингвистика

KW - лингвистика текста

KW - Text LINGUISTICS

KW - Corpus linguistics

KW - Scientific texts

KW - ARGUMENTATION STRUCTURE OF A TEXT

KW - INTER-ANNOTATOR DISAGREEMENTS

KW - ARGUMENTATION ANNOTATION

UR - https://www.elibrary.ru/item.asp?id=54396247

U2 - 10.25205/1818-7935-2023-21-2-89-104

DO - 10.25205/1818-7935-2023-21-2-89-104

M3 - статья

VL - 21

SP - 89

EP - 104

JO - Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация

JF - Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация

SN - 1818-7935

IS - 2

ER -