В Крыму создают ИИ для глухих и экзокисть для реабилитации страдающих ДЦП

Автоматический прививочный комплекс саженцев винограда, электронный замок с распознаванием лиц - это уже реализованные проекты молодых изобретателей, получившие поддержку по программе "Приоритет 2030". Сейчас они создают беспилотный трактор для обработки полей и параллельно работают над целым комплексом идей, чтобы облегчить жизнь людей с ограниченными физическими возможностями.

За неполные четыре года своего существования лаборатория "Фаблаб" Крымского федерального университета им. В. И. Вернадского (КФУ) уже имеет в своем активе несколько успешных проектов. Один из них - автоматизированная линия для прививки винограда. Только представьте, виноградарям Крыма ежегодно необходимо около пяти миллионов саженцев. Уже скоро сотни людей, выполнявших прививку лозы, заменят роботы.

- Черенки винограда помещают на конвейерной ленте. При помощи технологий компьютерного зрения система определяет их расположение, размер и наиболее подходящие точки захвата. Манипулятор, функционирующий на базе дельта-робота, получив все необходимые данные от системы компьютерного зрения, захватывает черенок и помещает его в прививочный узел для совмещения подвоя и привоя, - рассказал руководитель лаборатории цифрового творчества "Фаблаб" КФУ Владимир Овчаренко.

Комплекс почти готов, и его очень ждут в питомниках Крыма. Он станет частью большой программы перспективного развития виноградарства и виноделия. А сейчас в лаборатории работают над умным трактором.

- С использованием современных технологий распознавания окружения трактор работать в поле сможет сам, без оператора или с его ограниченным участием, - говорит изобретатель Денис Щербаков.

В процессе создания экзокисти, программисты и медики изучают повторяющиеся фрагменты импульсов, отвечающих за сжатие-разжатие человеческой кисти. Фото: Сергей Винник/РГ

Вспашка, прополка, точечный полив - все это должен уметь прототип, над которым работают студенты и преподаватели. Система точного позиционирования машины, до двух сантиметров, достигается с помощью станции, работающей не только как приемник, но и как передатчик.

- Станция будет интегрирована в наш проект. Будет и GPS-ГЛОНАСС-позиционирование трактора в поле, и компьютерное зрение. Этот проект сейчас где-то на середине. У нас есть отдел искусственного интеллекта и нейрокомпьютерных интерфейсов, мы работаем над компьютерным зрением для умного трактора, - рассказал Денис Щербаков.

Денис - студент четвертого курса Таврического колледжа КФУ и программист, вот уже почти год работает в лаборатории. Пришел сюда совсем с другими идеями, но увлекся и сам стал вдохновителем многих проектов. Сейчас он разрабатывает программу на базе искусственного интеллекта, распознающую язык жестов. Прежде чем заняться поиском решений, узнал, насколько актуальна проблема.

- В России около 300 тысяч человек, лишенных слуха. Вместе с семьями, сурдологами, сурдопереводчиками доходит до 500 тысяч человек. А слабослышащих людей в нашей стране около семи миллионов, - говорит Денис.

Разработкой программист занимается на свой страх и риск, без финансирования. Изобретатель уверен, что применение ИИ, распознающего язык жестов, - перспективное направление.

- Я создал прототип, с помощью которого могу, двигая рукой, управлять мышкой на компьютере. Есть жесты, отвечающие за нажатие левой кнопки мыши, правой, за колесико мыши, - пояснил Денис Щербаков. - Это сфера человеко-машинных интерфейсов, то есть взаимодействие человека и компьютера посредством жестов. И сюда же мы вводим, например, взаимодействие с компьютером с помощью мануального компонента: взгляда, эмоции, какого-то положения тела. В целом вместе с распознаванием жестов это входит в понятие компьютерного зрения.

Разработка ИИ, распознающего язык жестов, еще в процессе, но прототип уже получился полезный. Вместе с другими студентами и преподавателями Денис разрабатывает экзокисти для восстановления функций руки, утраченных в результате инсульта, травмы или ДЦП у ребенка.

- Наши инженеры разработали экзокисть, которой можно закрепить руку ребенка, страдающего ДЦП, для реабилитации функции сжатия и разжатия, а в дальнейшем для мелкой моторики. Для этого мы собрали большой объем данных с электроэнцефалограммами различных людей, когда они реально сжимали кисть и когда представляли, как ее сжимают, - рассказала лаборант Шевхие Татарис. - Программисты изучили паттерны, повторяющиеся фрагменты импульсов, которые можно редактировать во время сжатия-разжатия кисти. В дальнейшем, когда будет обучена нейронная сеть, сигнал от мозга в реальном времени будет приходить к экзокисти, она сожмется вместе с рукой ребенка. Постепенно пациент сможет представлять движения кисти и воспроизводить их с помощью экзоскелета.

Шевхие Татарис - студентка пятого курса мединститута КФУ. Она может по снимкам компьютерной томографии изготовить 3D-модель любого человеческого органа или сустава. Это помогает точнее поставить диагноз. Будущее медицины, уверена девушка, на стыке биологии, инженерных знаний и компьютерных наук.

Игорь Волочай только на третьем курсе Таврического колледжа КФУ, но проект, над которым он работал, нашел применение на практике.

- Мы сделали начинку электронного замка, и к нему при желании заказчика можно добавить устройство, которое будет сканировать лица людей. Считанный образ отправляется на удаленный сервер, и там при помощи алгоритмов нейронных сетей будет распознаваться "свой-чужой", - объяснил Игорь. - Если лицо человека есть в базе данных, то в таком случае дверь автоматически открывается.

Электронный замок с доступом Face ID удобен, камера может фиксировать лица людей, находящихся на расстоянии от двери. Пока человек к ней подходит, дверь уже открывается.

- И вам не нужно лезть в карман за ключами, когда вы вернулись с покупками, у вас руки заняты, а в подъезде две двери. Гораздо лучше, чем домофон, - утверждает изобретатель.

Электронные замки, созданные в лаборатории "Фаблаб", университет устанавливает в отремонтированных общежитиях вуза. А в лаборатории ждут студентов и преподавателей с новыми идеями, здесь им помогут воплотить их в жизнь.