На создание программно-аппаратного комплекса визуализации тактильных исследований для людей с ОВЗ по зрению ушло шесть лет.
Магистрант Сибирского государственного университета геосистем и технологий по направлению «Информационные системы и технологии» Маргарита Фролова разработала «Программно-аппаратный комплекс визуализации тактильных исследований для людей с ОВЗ по зрению». Вместе с командой, она работала над проектом шесть лет.
– Этот проект сопровождал меня всю студенческую жизнь, – рассказала она редакции infopro54. – Еще на первом курсе в наш вуз пришел запрос на техническую разработку, удешевляющую себестоимость тактильных карт для обучения незрячих. Первое время мы просто изготавливали карты на станках из фанеры. А после того, как вышел указ президента о развитии ИИ, мы придумали, как это возможно применить в нашей разработке.
Вместе с Маргаритой, над проектом работали Руслан Гришин и Даниил Мамаев. Курировал молодых ученых Артем Шарапов.
Для обеспечения полноты информации, получаемой незрячим или слабовидящим человеком, рядом с ним непрерывно должен находиться педагог или специализированный работник, объясняет Маргарита. Педагог должен внимательно следить, какие фрагменты ассистивных обучаемых материалов и в какой мере исследовал ученик. Это очень трудоемкий процесс, требующий постоянной концентрации внимания.
– И здесь большую роль играет самый обычный человеческий фактор, – продолжает Маргарита. – Педагог может на что-то отвлечься, да просто моргнуть. И определенный фрагмент выпадет из визуализации. В этом процессе человеку просто необходим помощник – машина, которая держит фокус внимания на постоянной основе.
И молодые ученые придумали такого помощника. Они изготовили длинный штатив, на который зафиксировали камеру, подключенную к компьютеру. За счет этого идет программный скрин, непрерывная трансляция, фиксирующий каждое действие обучающегося на тактильных картах. А педагогу остается только наблюдать за процессом.
– Для реализации трекинга рук веб-камера располагается над поверхностью с ассистивными средствами и руками обучающегося, – объясняет разработчик. – После начинается транслироваться непрерывный видеопоток. Для анализа каждого изображения видеопотока применяется специализированная библиотека OpenCV (это библиотека для работы с алгоритмами компьютерного зрения), а именно надстройка над библиотекой CVZone.HandTrackingModule. Данная надстройка позволяет на каждом кадре определить наличие ладони при помощи обнаружения центра тыльной или внутренней частей. Если ладонь была обнаружена, радиус поиска увеличивается от центра на определенный коэффициент и определяется 21 опорная точка на всей поверхности ладони.
Социальный проект Маргариты Фроловой вошел в бизнес-инкубатор Академпарка. Уже есть запросы на социальную разработку новосибирских ученых. Интерес к комплексу проявил ООО «Медицинский интегратор», с компанией ведутся переговоры о его последующей реализации.
Магистрант Сибирского государственного университета геосистем и технологий по направлению «Информационные системы и технологии» Маргарита Фролова разработала «Программно-аппаратный комплекс визуализации тактильных исследований для людей с ОВЗ по зрению». Вместе с командой, она работала над проектом шесть лет.
– Этот проект сопровождал меня всю студенческую жизнь, – рассказала она редакции infopro54. – Еще на первом курсе в наш вуз пришел запрос на техническую разработку, удешевляющую себестоимость тактильных карт для обучения незрячих. Первое время мы просто изготавливали карты на станках из фанеры. А после того, как вышел указ президента о развитии ИИ, мы придумали, как это возможно применить в нашей разработке.
Вместе с Маргаритой, над проектом работали Руслан Гришин и Даниил Мамаев. Курировал молодых ученых Артем Шарапов.
Для обеспечения полноты информации, получаемой незрячим или слабовидящим человеком, рядом с ним непрерывно должен находиться педагог или специализированный работник, объясняет Маргарита. Педагог должен внимательно следить, какие фрагменты ассистивных обучаемых материалов и в какой мере исследовал ученик. Это очень трудоемкий процесс, требующий постоянной концентрации внимания.
– И здесь большую роль играет самый обычный человеческий фактор, – продолжает Маргарита. – Педагог может на что-то отвлечься, да просто моргнуть. И определенный фрагмент выпадет из визуализации. В этом процессе человеку просто необходим помощник – машина, которая держит фокус внимания на постоянной основе.
И молодые ученые придумали такого помощника. Они изготовили длинный штатив, на который зафиксировали камеру, подключенную к компьютеру. За счет этого идет программный скрин, непрерывная трансляция, фиксирующий каждое действие обучающегося на тактильных картах. А педагогу остается только наблюдать за процессом.
– Для реализации трекинга рук веб-камера располагается над поверхностью с ассистивными средствами и руками обучающегося, – объясняет разработчик. – После начинается транслироваться непрерывный видеопоток. Для анализа каждого изображения видеопотока применяется специализированная библиотека OpenCV (это библиотека для работы с алгоритмами компьютерного зрения), а именно надстройка над библиотекой CVZone.HandTrackingModule. Данная надстройка позволяет на каждом кадре определить наличие ладони при помощи обнаружения центра тыльной или внутренней частей. Если ладонь была обнаружена, радиус поиска увеличивается от центра на определенный коэффициент и определяется 21 опорная точка на всей поверхности ладони.
Социальный проект Маргариты Фроловой вошел в бизнес-инкубатор Академпарка. Уже есть запросы на социальную разработку новосибирских ученых. Интерес к комплексу проявил ООО «Медицинский интегратор», с компанией ведутся переговоры о его последующей реализации.
