ГЕНЕРАЛЬНЫЙ ПАРТНЕР – ОАО «РЖД»
Школьники разрабатывают технологию распознавания действий по видео и аудио
12:31, 29 марта 2024
Технологию распознавания действий человека по видео и голосовым командам разработали участники программы «Глобальные большие вызовы». Она состоялась в рамках Всемирного фестиваля молодежи и объединила более тысячи школьников со всего мира.
Задачу по разработке технологии участникам образовательной программы поставили эксперты лаборатории искусственного интеллекта Филиала №11 ООО «ОЦРВ» Сириус.
Речь идет о распознавании и отслеживании искусственным интеллектом действий человека, в том числе и специфичных для железной дороги. При этом алгоритмы машинного обучения используют информацию из различных источников: видеопоток с камеры, голосовые команды, данные с датчиков носимых цифровых устройств.
Ребятам необходимо было отработать технологию на примере создания прототипа цифрового помощника, распознающего сигналы, подаваемые машинисту. Чтобы такой помощник мог давать правильные подсказки, ему нужно проанализировать и запомнить сотни видео, демонстрирующих различные ситуации на железной дороге. Участники проекта экспериментируют с данными, апробируют различные варианты алгоритмов и архитектур моделей ИИ. Они самостоятельно готовят данные, на основе которых формируют обучающие датасеты для тренировки моделей. Из открытых источников ребята собирают видео, иллюстрирующие разные действия машинистов. Например, сцепку вагонов, увеличение или уменьшение скорости, прекращение движения состава, открытие и закрытие дверей и так далее. После обработки видео и создания датасета школьники приступили к этапу обучения и тестирования алгоритмов и моделей.
Важный элемент решения поставленной задачи – освоение школьниками технологий в области искусственного интеллекта: автоматического распознавания речи (ASR) и обработки естественного языка (NLP). Именно они помогают искусственному интеллекту распознавать речь на видео и понимать человеческий язык.
«Сбор корректного датасета – важнейший навык при разработке подобного продукта. Важно уметь собирать качественные и точные данные, обрабатывать их, анализировать «поведение» при обучении алгоритмов. Ребята решают максимально прикладные задачи», – рассказал руководитель проекта, старший специалист по анализу данных филиала ОЦРВ в Сириусе Алексей Стадник.
Успешные наработки могут лечь в основу прототипа промышленной технологии, сформировав базис для дальнейших экспериментов и разработки. Такая технология может стать основой для создания интеллектуальных цифровых помощников. Например, такая технология может расширить функционал уже эксплуатируемой в РЖД системы нормирования труда, использующей технологии ИИ.
Руководитель группы обработки естественного языка Андрей Носов:
«Мы хотим дать более широкий контекст для решения наших повседневных задач и, в идеале, оперировать несколькими модальностями. Например, такими уже привычными для машинного обучения как распознавание речи (звук), распознавание образов (зрение), распознавание смысла (текст) и таких, пока еще экзотичных, как распознавание запахов (обоняние), распознавание вкуса, распознавание кожных реакций (осязание) и прочее».
В детской обучающей программе «Глобальные большие вызовы» приняли участие более тысячи детей 14–17 лет из России и других стран. Она стартовала после завершения Всемирного фестиваля молодежи, который прошел на федеральной территории «Сириус» в марте. Обучающая программа позволила ребятам не только участвовать в работе площадок фестиваля, но и погрузиться в направления деятельности Образовательного центра «Сириус», презентовать собственные проекты, познакомиться с учеными и представителями научно-технологических компаний — партнеров «Сириуса».
Фото: РДДМ «Движение первых»
Вы подписаны!
