Описание

Новую разработку представили ученые Центра искусственного интеллекта Новосибирского государственного университета. С докладом «Фреймворк «Каппа»: управление датасетами и бенчмаркинг ИИ-моделей для доверительных систем искусственного интеллекта» выступил заведующий лабораторией аналитики потоковых данных и машинного обучения механико-математического факультета, ведущий научный сотрудник Центра искусственного интеллекта НГУ Евгений Павловский. По итогам выступления со стороны НГУ в адрес представителей других вузов было высказано предложение пользоваться «Каппой» бесплатно — через версию, размещенную на серверах НГУ. Существует также возможность установить фреймворк в собственном контуре вуза.

Фреймворк «Каппа» разработан в Центре искусственного интеллекта НГУ. Система управляет полным жизненным циклом наборов данных для обучения и контроля моделей ИИ: разметка, верификация, версионирование, публикация, бенчмаркинг моделей и телеметрия их эксплуатации.

«Качество модели искусственного интеллекта напрямую зависит от данных, на которых она обучалась. Из-за ошибок в данных и непрозрачности их происхождения многие модели так и не доходят до промышленной эксплуатации: заказчик не может проверить, на чем обучалась система, и не доверяет ей. «Каппа» решает обе проблемы: фреймворк поддерживает полный жизненный цикл датасетов — формирование, разметку, верификацию, версионирование и публикацию (в закрытом контуре, по запросу или открытую), а также жизненный цикл самих ИИ-моделей», — сказал Евгений Павловский.

Система гарантирует качество данных, воспроизводимость экспериментов и полную прослеживаемость: всегда зафиксировано, кто, когда и какую разметку внес. Найденную ошибку можно исправить и закрепить в новой версии датасета, а не повторять ее при каждом следующем обучении. Естественное продолжение работы с данными — бенчмаркинг: на подготовленных наборах можно измерять качество любых моделей, как собственных, так и публичных.

Существующие репозитории данных — Figshare, Zenodo, Mendeley Data, Dataverse и российская система ЭРИС — предназначены прежде всего для хранения и цитирования файлов. «Каппа» же целиком заточена под работу с датасетами для машинного обучения: разметку, верификацию, версионирование и бенчмаркинг. При этом фреймворк — не только программное обеспечение, но и концептуальная основа: он поддерживает подготовленный командой проект национального стандарта гуманитарной экспертизы внедрения ИИ в практики управления городом и реализует эту экспертизу как отдельный этап работы.

«Качество модели искусственного интеллекта определяется теми данными, которые мы подаем на вход. Именно из-за ошибок в данных множество моделей не доходит до промышленной эксплуатации, а непрозрачность происхождения данных рождает недоверие. И складывается ситуация «Мусор на входе — мусор на выходе». Мы же гарантируем качество датасетов, воспроизводимость экспериментов и полную прослеживаемость — видно авторство каждого, кто участвовал в подготовке данных», — отметил Евгений Павловский.

Предмет

Фреймворк «Каппа» разработан в Центре искусственного интеллекта НГУ. Система управляет полным жизненным циклом наборов данных для обучения и контроля моделей ИИ: разметка, верификация, версионирование, публикация, бенчмаркинг моделей и телеметрия их эксплуатации.