Ученик 11-го класса Виталий Симонов из школы № 13 Электростали разработал робота «Дактик», который в игровой форме обучает жестовому языку, сообщает Министерство образования Московской области.

Робот распознает жесты с помощью технологий компьютерного зрения и искусственного интеллекта, а затем проверяет их правильность. У «Дактика» три режима работы. В зависимости от выбранного режима система предлагает пользователю показать на жестовом языке букву, слово или целую фразу. Робот считывает положение пальцев кисти руки и показывает корректный ответ.

Постоянного подключения к интернету робот не требует.

Работа над проектом осуществлялась в центре «Диалог». Школьник самостоятельно провел исследование, разработал конструкцию, программное обеспечение и обучил нейронную сеть. Корпус робота был распечатан на 3D-принтере, а нейросеть обучалась на основе фотографий: собирались по пять фотографий руки на каждую из букв жестового алфавита. Чтобы система компьютерного зрения могла фиксировать положение пальцев пользователя, была разработана нейронная сеть – корректность жеста отслеживается по 21 точке, которые равномерно расположены на кисти руки. Координаты точек поступают в математическую модель, самостоятельно разработанную Виталием Симоновым.

Робот «Дактик» прошел апробацию и получил положительные отзывы от педагогов и воспитанников школы-интерната для детей с ограниченными возможностями здоровья № 1 Электростали.

Источник: edu.ru