Десятикласник Покровської школи №9 Микита Теличко родом із Донецька. Нині Микита з родиною живе у Великій Британії. Проєкт для вивчення жестової мови школяр створив до конкурсу Малої академії наук. На винахід його надихнув рідний брат, який користується слуховим апаратом.
Про це повідомило #ШОТАМ з посиланням на «Суспільне Донбас».
Ідея створення проєкту
Створювати технологію Микита розпочав у вересні 2024 року. До цього з 7-8 років юнак захоплювався робототехнікою та IT-технологіями.
«Мій молодший брат Макар, якому 12 років, має особливості: він не чує дуже високих частот і тому використовує слухові апарати. Я подумав: як можна допомогти таким людям, як Макар. Проаналізував і зрозумів, що дуже складно вивчати жестові мови», — поділився Микита.
Словник працює з використанням комп’ютерного зору та відкритих баз даних. Для власної розробки юнак використав американську жестову мову, адже вона є найбільш поширеною.
«Захотілося вивчити жестову мову, наприклад, чи треба — які є зараз рішення? Ти просто заходиш на сайт, пишеш слово, знаходиш відео, як це слово показати. І ти намагаєшся його відтворити, але ніякого зворотного зв’язку не отримуєш. Тобто ти просто намагаєшся повторити, але не розумієш, чи правильно показуєш. Мій проєкт допомагає саме перевірити, чи зможуть тебе зрозуміти, чи правильно ти показуєш. А ще її так швидше вивчити, бо коли ти сам показуєш, то краще запам’ятовуєш», — розказав Микита Теличко.
Як працює розробка
Головними компонентами технології стали:
- використання Python та MediaPipe для розпізнавання жестів;
- інтеграція бази даних WLASL;
- розробка інтуїтивного користувацького інтерфейсу.
Програма розпізнає жести через вебкамеру, порівнює їх з еталонними зразками та демонструє схожість виконанного жесту зі зразковим. Юнак також самостійно розробив математичну модель, яка вимірює відстань між фалангами пальців і не залежить від відстані до екрана. Винахід тестували в Асоціації глухих в одному з міст Британії.
Науковими керівниками Микити Теличка стала учителька інформатики Покровської школи №9 Дар’я Литвин та старший викладач катедри автоматики і телекомунікацій Донецького національного технічного університету Гліб Ступак.
Подальші плани
Хлопець продовжуватиме вдосконалювати свій проєкт, зокрема алгоритм перевірки жестів та інтерфейс. Наразі сервіс є лише на комп’ютері Микити в одному екземплярі. Він хоче перенести свій проєкт на сайт і зробити доступним для всіх.
Також розробник подаватиме винахід на міжнародні виставки або конкурси, якщо будуть відповідні категорії. У майбутньому Микита хоче продовжувати займатися технологіями та вивчати штучний інтелект.
Підтримайте проект на Patreon
