В ЛЭТИ создали прототип «умного» шлема для людей с нарушениями зрения

Частичная или полная утрата зрительных функций остается одной из наиболее острых социальных и медицинских проблем, существенно ограничивающих самостоятельность человека. В условиях снижения или отсутствия визуального восприятия критически важную роль приобретает слух, который помогает людям с нарушениями зрения ориентироваться в пространстве, распознавать объекты и взаимодействовать с обществом.

Однако в шумной городской среде традиционные методы пространственной ориентации, включая естественную эхолокацию, становятся малоэффективными, что создает насущную потребность в разработке инновационных технологий, способных помочь незрячим и слабовидящим людям безопасно оценивать расстояние до объектов и уровень потенциальной угрозы даже в условиях высокого акустического шума.

В частности, на базе кафедры биотехнических систем СПбГЭТУ «ЛЭТИ» в 2024 году был разработан прототип навигационного устройства, способный измерять расстояния до какого-либо объекта и издавать звуковые сигналы, частоты которых менялись в зависимости от расстояния до них. Однако оно не позволяло различать объекты друг от друга и «сообщать» об этом пользователю.

«Мы разработали прототип навигационного устройства в виде шлема для людей с частичной или полной потерей зрения. Его ключевое отличие от существующих аналогов заключается в способности оценивать реальный уровень угрозы для безопасности пользователя. Принцип действия системы основан на комплексном мультисенсорном анализе: закрепленные на шлеме оптическая камера и измеритель дальности сканируют окружение, а гироскоп точно отслеживает ориентацию головы. С помощью алгоритмов компьютерного зрения и сверточных нейросетей вычислительный блок классифицирует объекты, анализируя их габариты, массу, скорость и траекторию движения. Благодаря этому устройство в реальном времени формирует персональную зону безопасности и через модуль пространственного звука интуитивно предупреждает пользователя о статичных и движущихся препятствиях, динамически корректируя маршрут под изменяющиеся условия среды».

Сначала осуществлялся сбор и получение видеоданных с камеры в поле зрения пользователя. После этого исследователи обрабатывали сигналы, где входные изображения приводились к унифицированному матричному размеру для обеспечения стабильности и единообразия алгоритмов. Далее каждое изображение разбивалось на ячейки для обнаружения центров объектов в пределах заданных рамок.

 Затем они классифицировали объекты с применением сверточных нейронных сетей, что позволило сформировать базу данных с ранжированием окружающих объектов по коэффициенту опасности, учитывающему их массу, габариты и инерционность (покой-движение).  Ключевым моментом стала интеграция всех компонентов в единую аппаратно-программную архитектуру с синхронизированными шинами управления и передачи данных, обеспечивающими бесшовное взаимодействие датчиков, вычислительного блока и модуля звукового оповещения.

Таким образом разработан прототип навигационного устройства для помощи людей с нарушениями зрения. В отличие от привычных ультразвуковых датчиков, работа которых сбивается в дождь или снег, а также которые не позволяют отличить, например, стоящий столб от движущейся машины, новое устройство анализирует ситуацию комплексно. Оно использует алгоритмы интеллектуального анализа, чтобы в реальном времени оценивать скорость и направление движения всех окружающих объектов. Навигатор строит безопасный маршрут, учитывая не только стены и бордюры, но и динамику самого человека и прохожих, что делает передвижение по городу гораздо безопаснее.

«В ближайшее время мы собираемся провести клинические и полевые испытания устройства в реальных городских условиях с высоким уровнем фонового шума и сложной транспортной обстановкой. Также мы планируем миниатюризировать аппаратную базу и оптимизировать алгоритмы сверточных нейросетей для устойчивой работы в различных погодных условиях, а также интегрировать систему в элементы инфраструктуры «умного города» для обеспечения максимально надежной, точной и бесперебойной навигации людей с нарушениями зрения».

Навигационное устройство защищено патентом РФ на изобретение (№ 2859069). Оно вошло в пятерку ведущих медицинских изобретений современности по мнению экспертов Роспатента.

Работа ведётся в русле научно-исследовательской политики программы развития СПбГЭТУ «ЛЭТИ» «Приоритет-2030», национального проекта «Молодёжь и дети» и инициативы Десятилетия науки и технологий.