В рамках исследования предложен метод построения улучшенной архитектуры сверточной нейронной сети, позволяющий снизить аппаратные затраты.
28.06.2024
CoLab – это российская платформа для коммуникации ученых, лабораторий и компаний, которая является перспективным аналогом таких зарубежных научно-информационных социальных сетей, как ResearchGate.
В июне отечественный проект опубликовал список 10 лучших российских исследований, которые являются самыми цитируемыми за последние 5 лет. Так, работа ученых Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» и Северо-Кавказского федерального университета (СКФУ), посвященная применению системы остаточных классов для снижения аппаратных затрат при реализации сверточной нейронной сети (СНС), заняла 8-е место в рейтинге CoLab. Публикация набрала 292 цитирования.
СНС является одним из лучших инструментов по распознаванию различных визуальных образов (изображений и видео). Однако для ее обучения необходимо выполнять большое количество операций свертки на вычислительных устройствах, что требует большого объема памяти. Для решения этой проблемы ученые СПбГЭТУ «ЛЭТИ» и СКФУ занимались исследованием по разработке более усовершенствованной архитектуры СНС, которая бы могла позволить снизить аппаратные затраты.
«Искусственный интеллект все больше проникает в нашу жизнь, в том числе и в устройства, не обладающих большими вычислительными мощностями. Для этого требуется оптимизация нейронных сетей и вычислений с ними связанных. По этой причине данная тема и статья вызвала такой интерес в мировом научном сообществе».
В научной статье предложен способ улучшения реализации операций свертки за счет использования модулярной арифметики (система арифметики целых чисел) на основе системы остаточных классов (система счисления, основанная на модулярной арифметике). К примеру, если взять в качестве модулей цифры (2 или 5), то это позволяет представить большое число (100 и больше) в виде остатков деления на четные и на нечетные цифры. В этом случае информации достаточно для точного восстановления неизвестного числа, необходимого для построения архитектуры.
«Принцип нашего подхода состоит в том, что вычисления в обычной двоичной системе счисления заменяются на вычисления по взаимно простым модулям. Это приводит к уменьшению количества сложений, вычитаний и умножений. Таким образом, мы показали, что данный способ не только ускоряет процесс операций свертки, но и улучшает функционирование сверточных нейронных сетей».
По словам одного из членов научного коллектива, доцента кафедры автоматики и процессов управления (АПУ) СПбГЭТУ «ЛЭТИ» Дмитрия Ильича Каплуна, взаимодействие с научной группой профессора СКФУ Николая Ивановича Червякова, которая является одной из ведущих в мире по направлению систем остаточных классов, позволило поднять качество исследований на новый уровень.
«Наши исследования, посвященные системе остаточных классов, продолжаются уже многие годы и ведутся до сих пор. Так, например, в прошлом году совместно с коллегами из СКФУ мы опубликовали две статьи в высокорейтинговых журналах Computers and Electrical Engineering и Microprocessors and Microsystems. Кроме того, в последние годы нами на базе ЛЭТИ было реализовано несколько НИР со всемирно известными индустриальными компаниями на эту тему. Мне кажется, что интерес к этой области исследований объясняется бурным развитием мобильных и носимых устройств, ресурсы которых ограничены, а также массовым внедрением в них интеллектуальных алгоритмов. Данный же подход позволяет сильно сократить вычислительные затраты при реализации таких алгоритмов, и, соответственно, сэкономить ресурсы».
Работа «Перспективные аппаратные средства с повышенной помехозащищённостью для задач обработки данных и моделирования динамических систем на основе векторных вычислителей» выполнена при поддержке Российского научного фонда (№ 19-19-00566) под руководством профессора кафедры АПУ СПбГЭТУ «ЛЭТИ» Ивана Юрьевича Тюкина. Результаты исследования опубликованы в научном журнале Mathematics and Computers in Simulation.
Исследования ведутся в русле научно-исследовательской политики программы развития СПбГЭТУ «ЛЭТИ» «Приоритет 2030».
