Учёные ЛЭТИ разработали подход для оценки точности работы нейросетей

Сегодня нейросети играют важную роль в жизни и экономике общества. Так, уже сейчас более 50% крупных компаний мира используют ИИ для автоматизации процессов и повышения эффективности. В медицине нейросети помогают повысить точность диагностики до 90–95% в некоторых областях, а также сократить время анализа снимков до 60%, что приводит к более быстрому лечению и спасает тысячи жизней ежегодно. В розничной торговле рекомендательные сервисы, основанные на нейросетях, позволяют увеличить продажи на 20–30%, а в финансовой сфере автоматизированные решения экономят корпорациям миллиарды долларов, снижая риски ошибок и мошенничества. В быту около 60% пользователей интернета сталкиваются с технологиями нейросетей через голосовых помощников, переводчики и фильтры спама, и таких сервисов становится всё больше.

Однако активное внедрение нейросетей в жизнь общества вызывает целый ряд трудностей, которые требуют создания эффективных инструментов для их преодоления, поскольку они могут приводить к моральному, физическому и экономическому ущербу для пользователей. В частности, одной из проблем, которая возникает в силу фундаментальных особенностей функционирования нейросетевых моделей, является высокая сложность прогнозирования результатов обработки информации. Например, нейросеть для анализа КТ-снимков, после двух обучений на одном и том же массиве данных в первом случае выдать успешность распознавания как 90% и более, а во втором – на несколько десятков процентов ниже.

«Разумеется, эта «болезнь» нейронных сетей вызывает большие вопросы об эффективности и достоверности их применения, например, в сфере медицины или экономики: когда система может непрогнозируемо выдать, скажем, практически абсолютную точность, а при повторном обучении - существенно меньше. В нашем исследовании мы предложили метрику, которая позволяет с высокой точностью определить минимальный порог точности, с которой нейросеть выполняет задачи по обработке информации».

В ходе исследования учёные ЛЭТИ показали, что стандартные подходы математической статистики не способны достоверно в общем виде описать минимальную точность нейросетей: результаты многократного обучения нейросетей на одном массиве данных давали непредсказуемые результаты.

Тогда исследователи решили пойти другим путём: они решили эмпирически найти метрику, которая бы могла описать и предсказать минимальную точность обработки информации нейросетью. Для этого три активно применяемых нейросети обучили около 30 раз на одном и том же объеме данных. Собранная информация позволила обнаружить закономерности обучения нейросетей и составить метрику (числовой показатель, используемый для измерения, оценки и анализа эффективности) для их оценки.

«Наша метрика находится в открытом доступе, и теперь любой разработчик программного обеспечения, использующего нейросетевые модели, может проверить – какова минимальная эффективность его продукта. Наш подход актуален для всех направлений применения ИИ-технологий: начиная от медицины, маркетинга и логистики, заканчивая банковским делом и промышленным производством».

Результаты исследования опубликованы в научном журнале «Известия ЮФУ. Технические науки». В будущем учёные планируют разработать математический аппарат, который позволит в общем случае описать минимальную точность обработки информации нейросетью.

Работа ведётся в русле научно-исследовательской политики программы развития СПбГЭТУ «ЛЭТИ» «Приоритет-2030», национального проекта «Молодёжь и дети» и инициативы Десятилетия науки и технологий.