ГЕНЕРАЛЬНЫЙ ПАРТНЕР – ОАО «РЖД»
Компьютерное зрение поможет распознать знаки безопасности
Новое веб-приложение стало одной из наиболее интересных разработок, представленных в финале научно-технологического конкурса «Большие вызовы»
12:18, 04 августа 2023
Одной из наиболее интересных разработок, представленных в финале конкурса «Большие вызовы», стало веб-приложение по распознаванию знаков безопасности. Наставниками проектной команды выступили эксперты Отраслевого центра разработки и внедрения информационных систем РЖД. Приложение создано на основе библиотеки MindAR. Его можно использовать на детских железных дорогах для интерактивного обучения школьников мерам безопасности.
Главные преимущества: доступность, скорость и простота
Участники 24 дня работали над созданием прототипа веб-приложения по распознаванию знаков безопасности на железной дороге. Проект объединяет несколько технологий: дополненная реальность, компьютерное зрение и мобильная разработка.
Чтобы воспользоваться приложением достаточно иметь телефон с камерой, а принцип работы понятен и взрослому, и ребенку. Результат готов в два шага:
- Наведение камеры на QR-код. Приложение открывается в браузере как отдельная страница.
- Наведение камеры на знак.
Технология компьютерного зрения считывает знак, открывается всплывающее окно с наименованием знака. По нажатию на всплывающее окно происходит переход в окно "Инфо” (далее) с подробным описанием знака, предупреждением и описанием при несоблюдении мер безопасности, относящихся к конкретному знаку.
Для разработки веб-приложения команда использовала язык программирования JavaScript и платформы Unity и React. Применение этих сервисов обеспечило короткие сроки выполнения задач и расширенный список компетенций для учащихся.
Система распознавания знаков создана на основе библиотеки MindAR. Для проекта с дополненной реальностью нужно три составляющие:телефон с камерой, маркер и программа. Маркером выступает любой статичный предмет, в проекте – это знак безопасности. При запуске приложения и наведения камеры на маркер изображение распознается, появляется объект AR. Технология определяет только те объекты, которые были предварительно добавлены в базу данных приложения.
Помимо распознавания знаков безопасности, у прототипа приложения есть еще два окна взаимодействия с пользователем:
◆ «Инфо» – содержит развернутую информацию о целях установки конкретного знака, а также советы по безопасности.
◆ «Библиотека» – включает полный набор знаков безопасности. Пользователь может ознакомиться с любым из них.
«Ключевая задача ― обеспечить максимально быстрый доступ к данным, так как речь идет о безопасности. Система не требует установки специального приложения на телефон. Пользователь считывает QR-код, наводит камеру на знак, и информация сразу отображается на экране»,― прокомментировал эксперт по XR-технологиям лаборатории виртуальной реальности ОЦРВ РЖД Антон Иванков.
Планы по развитию проекта:
◆ Реализация функции озвучивания информации, объясняющей назначение знаков.
◆ Внедрение AR-контента для демонстрации опасных ситуаций.
◆ Расширение базы знаков безопасности.
Группа проекта создала специальный мотивационный модуль. Детям нужно собрать все 26 знаков безопасности, за это они получают доступ к секретному знаку, созданному группой. Секретный знак содержит анимированный AR-контент. Также в процессе работы школьники проявили креатив и создали с помощью нейросети Kandinsky 2.2 улыбчивого мультяшку по имени Мопо Бежедобин. У героя есть все шансы стать лицом приложения.
Мобильный помощник по правилам поведения на объектах железнодорожной инфраструктуры ― Мопо Бежедобин (сокращение). Создано Kandinsky 2.2
«Мы долго думали над названием приложения, оно было слишком длинным. Пришла идея взять начальные буквы каждого слова, получилось сочетание Мопо Бежедобин. Ребята отправили его в нейросеть для генерации картинок, и у нас появился новый анимационный герой»,― рассказал ведущий разработчик лаборатории виртуальной реальности ОЦРВ РЖД Алексей Гребцов.
Планы на будущее
Созданное веб-приложение можно использовать на всех объектах железной дороги, а также в городской среде. Ближайшие возможные перспективы проекта связаны с применением технологии на детских железных дорогах для интерактивного обучения. Это уменьшенный формат реальных объектов РЖД ― со своими вокзалами, станциями, подвижным составом и образовательным центром. Там дети могут почувствовать себя взрослыми: после знакомства с теорией в классе они отрабатывают навыки машиниста, проводника, начальника станции.
Большое внимание уделяется безопасности, созданное веб-приложение поможет школьникам в режиме реального времени быстро изучить все правила в игровом формате. Полученные знания помогут уже на “взрослых” железных дорогах.
Фото в анонсе: Фото: Shutterstock/FOTODOM
Вы подписаны!
