Пермские ученые создали словарь для общения человека с роботом языком жестов

Взмах рукой - и нейросеть, за доли секунды определив, что хочет человек, выполняет заложенную в ее память команду… Новую систему общения с искусственным интеллектом на основе жестовой нотации создали ученые Пермского государственного национального исследовательского университета (ПГНИУ). Ноу-хау позволяет невербально передавать информацию машинам и получать от них ответ или необходимое действие.

Жестовую нотацию, способную зафиксировать мимику и движения человека в виде отдельных "высказываний", в 1970-х придумала американская танцовщица Валери Саттон. В Перми разработкой словаря для роботов занимается команда филологов и математиков. Представители точной науки создали виртуальное пространство и трехмерную модель для проведения экспериментов, а также алгоритм распознавания действий человека с камер наблюдения. Гуманитарии, в свою очередь, систематизировали базу знаний.

- Мы учили робота "на лету" распознавать движения человека и записывать их в виде формулы, которую можно передавать исполняющему устройству, - рассказал профессор кафедры теоретического и прикладного языкознания ПГНИУ, доктор филологических наук Константин Белоусов. - В результате мы вывели формулу, на основе которой искусственный интеллект может повторять, корректировать и развивать сценарии перемещения.

Исследование в первую очередь ориентировано на робототехнику, в которой запущены десятки проектов, нацеленных на обучение антропоморфных роботов движениям человека. Такие устройства обычно используются в сфере услуг и ориентированы на контакты с людьми. Кроме того, усилия ученых направлены на взаимодействие с медиками. В частности, речь идет о разработке системы реабилитации людей с заболеваниями опорно-двигательного аппарата.

Еще одна возможная область применения жестовых нотаций - анимация. По словам Константина Белоусова, язык жестов помогает управлять 3D-моделью в виртуальном пространстве. В дальнейшем трехмерный объект может стать основой для создания персонажа анимационного фильма.