РЖД ГЕНЕРАЛЬНЫЙ ПАРТНЕР – ОАО «РЖД» Реклама
Рекламодатель: ОАО "РЖД"

erir:Pb3XmBtzsyy7FXa3bppatQWDeVokXqMtNumhsKU
Какие задачи решил проект создания КСУД и как он будет развиваться дальше
Мнения

Какие задачи решил проект создания КСУД и как он будет развиваться дальше

Система позволяет сформировать отраслевую аналитику в реальном режиме времени с высокой степенью детализации

00:17, 12 июня 2024

Национальный проект «Экономика данных» предполагает создание суверенной инфраструктуры для хранения, сбора и управления данными. Залог его успеха ‒ появление современных систем управления данными. В РЖД успешно реализован проект создания и внедрения такой системы (КСУД). О том, какие задачи он решил, какие сложности необходимо было преодолеть при создании системы и как КСУД будет развиваться рассказывает руководитель проекта, главный эксперт департамента информатизации ОАО «РЖД» Ирина Долженко.

Что изменила система КСУД, какие возможности для управления данными она открывает?

КСУД – необходимая основа для перехода компании к управлению на основе данных. Комплекс инструментов системы позволяет разрабатывать аналитические формы с использованием единого методологического подхода, а также получать информацию о данных смежных подразделений и переиспользовать уже существующие формы в новых системах бизнес-аналитики(BI). Таким образом, снижается трудоемкость множества операций, связанных с работой с данными.

Фото: Из личного архива
Фото: Из личного архива

Кроме того, КСУД предоставляет возможность оперативно согласовывать методологию при работе с показателями и аналитическими формами, сотрудники эффективнее взаимодействуют и быстрее решают задачи. Экономия времени и трудозатрат возникает за счет переиспользования промежуточных результатов в ряде этапов внедрения Корпоративного хранилища данных и BI.
Система является основой для создания моделей прогнозирования и предиктивного моделирования. Для создания таких моделей требуются качественные данные, собранные по единой методологии. Мы активно работали над этим и продолжаем улучшать существующие решения и методологические подходы, распространяя их на все бизнес-направления РЖД.

Как влияет внедрение КСУД на операционную деятельность сотрудников РЖД?

Все специалисты, от руководителей топ-уровня до рядовых пользователей, теперь работают по единой модели данных.
Такой подход помогает сделать сбор информации о методологии формирования показателей единообразным, у сотрудников смежных подразделений снизился риск возникновения бизнес-ошибок, вызванных неверным пониманием бизнес-терминов.

КСУД позволяет сформировать отраслевую аналитику в реальном режиме времени с высокой степенью детализации – все это возможно благодаря новым стандартам качества и прогрессивным подходам к классификации и хранению данных.

Все специалисты от руководителей топ-уровня до рядовых пользователей теперь работают по единой модели данных

Комплекс инструментов по управлению данными дает возможность разрабатывать аналитические отчеты и формы с использованием единого методологического подхода. Снижается трудоемкость множества операций, связанных с работой с данными, позволяя сотрудникам сосредоточиться на более сложных задачах.

При этом КСУД исключает использование недостоверных, повторяющихся, невыверенных данных – как с точки зрения методологии, так и с точки зрения систем-источников, в повседневной работе при формировании отчетов, справочно-аналитических материалов для руководства РЖД.

Как организовать контроль за хранением критически важных данных и управлением ими?

Для организации контроля за хранением критически важных данных и управлением ими необходимо разработать строгие политики и процедуры по управлению данными, определить ответственных сотрудников за их выполнение, проводить регулярные аудиты и мониторинг доступа к данным. В РЖД критически важные данные описываются в единых утвержденных форматах. Это модели данных (методологическое бизнес-описание показателей) и технических метаданных (технологическое и техническое описание всех этапов обработки и формирования данных).
Они ведутся в инструментах комплекса систем управления и анализа данных (КС УАД).

Также стоит предпринять ряд шагов для организации контроляза хранением критически важных данных и управлением ими. В частности, сформировать реестр критичных данных, регламенты по доступности, безопасности, включая ролевые модели, к наличию копий в случае возникновения аварий, организовать процессы мониторинга по качеству, доступности, безопасности критически важных данных

Инструменты комплекса систем управления и анализа данных (КС УАД):

  • система для ведения моделей данных – глоссарий бизнес-терминов
  • система для ведения моделей метаданных – Банк метаданных
  • нормативная база при работе с данными – Репозиторий форм и аналитических справок 
  • связи моделей данных и моделей метаданных – Диаграммы жизненного цикла и потоков данных.

Легко ли было сотрудникам компании овладеть возможностями, которые дает новая система управления данными?

В РЖД количество аналитиков, работающих с отчетностью, достигает 9000 чел. Для эффективной реализации проекта КСУД важно сформировать команду, которая объединит внутреннюю экспертизу и создаст новые компетенции в области управления данными.

Для создания новых компетенций мы проводим обучение для наших специалистов и развиваем внутренний кадровый резерв. Так, в 2023 году в Корпоративном университете РЖД прошло обучение для работников компании по новой программе «Бизнес-аналитика».
В течение трех месяцев 45 руководителей и специалистов из различных подразделений погружались в теорию и практику работы сданными.

Фото: Shutterstock/FOTODOM
Фото: Shutterstock/FOTODOM

Программа обучения включала разработку проектных идей, основанных на применении аналитического подхода и комплексной работе с корпоративными хранилищами данных. В качестве основного источника данных слушателями
активно использовалась система «СКИМ», также разработанная в РЖД. Она предназначалась для оперативного мониторинга производственных, операционных и финансово-экономических показателей компании. СКИМ обеспечивает единый подход к формированию оперативной управленческой отчетности, что на порядок повышает скорость подготовки данных.

Мы уже получаем много запросов на участие в следующем потоке. Верю в эту программу и ее масштабирование, так как в рамках программы мы не только обучаем, но и объединяем лучших экспертов нашей компании. Организованная коммуникация и обмен опытом профессионалов в области аналитики определенно даст огромный эффект в работе с данными.

Какие специфические задачи приходилось решать при разработке КСУД?

При построении корпоративной системы управления данными (КСУД) мы стремились объединить все лучшие
практики. Важно было использовать все актуальные инструменты управления данными: прежде всего программные
решения, предназначенные для администрирования, мониторинга, контроля и составления отчетов на протяжении всего
жизненного цикла данных.

Но наш подход обладал и рядом уникальных особенностей. Например, чаще всего компании начинают свой путь с описания модели технических метаданных, то есть описывают данные так, как они физически лежат и в каких системах. Только после этого переходят к определению и описанию методологии.

В РЖД число аналитиков, работающих с отчетностью, достигает 9000

Однако мы начали работу именно с разработки такого инструмента управления данными, как Глоссарий бизнес-терминов. Такой путь был более сложным. В РЖД большое иколичество бизнес-направлений и, следовательно, бизнес-терминов, которые требовали единого понимания. Зато в результате такого подхода мы смогли создать структурированные и согласованные с бизнес-процессами правила работы с данными и определить приоритеты и задачи в области ИТ-инфраструктуры.

Кроме того, прорабатывая функциональные требования к Глоссарию бизнес-терминов, мы увидели, что при увеличении количества показателей, введенных в систему, растут и трудозатраты на их ведение, что снижало качество и доступность данных. Мы поняли, что Глоссарий должен быть не простой библиотекой карточек, а должен обладать автоматизированной функцией ведения описаний показателей и за счет среды согласования (workflow) обеспечивать их согласованность.

Фото: Shutterstock/FOTODOM
Фото: Shutterstock/FOTODOM

В результате мы не только разрабатываем инструмент, но и решаем гораздо более важную для компании задачу – создаем площадку для общения и наращивания экспертизы всех специалистов, причастных к аналитике. Это уникальное решение, не имеющее аналогов на рынке.

Что сегодня должна уметь система управления данными, чтобы отвечать современным требованиям и потребностям?

Сегодня существующие инструменты управления данными, такие как, например, бизнес-глоссарий, и даже продукты opensource, которые изначально делали упор на описание только технических метаданных (дата-каталог), расширили свою функциональность до возможности описания бизнес-терминов с несколькими параметрами.

Управление именно бизнес-терминами (возможность их создания, актуализации и отмены, осуществляется с использованием элементов среды согласования workflow) стало наиболее актуальным в последнее время.

Возможность построения зависимостей между ними, формирование деревьев показателей для того, чтобы на основании схематического представления можно было отследить, из каких базовых данных состоят расчетные показатели и что влияет на их формирование.

Растут требования к расширенным ролевым моделям. Во многих компаниях появляются дата-офисы с разными функциями, процессами и ролями, такими как дата-партнеры и дата-стюарды. Для всех них требуются отдельные полномочия и возможности системы.

На текущем этапе можно ожидать применения ИИ  во вспомогательных функциях систем управления данными

Расширяются и требования к хранилищам метаданных (дата-каталогу). Раньше от них требовалось простое сканирование уже реализованных схем данных. Но уже важно, чтобы они давали возможность проектирования витрин данных и других слоев КХД.

Как может искусственный интеллект внедряться в системы управления данными? Какие задачи он должен решать?

На текущем этапе можно ожидать применения ИИ во вспомогательных функциях систем управления данными. Скажем,
при работе с семантическими дубликатами в логической модели данных, поиске показателя, например с использованием чат-бота.

Фото: Shutterstock/FOTODOM
Фото: Shutterstock/FOTODOM

В данном случае работа ИИ включает в себя семантический анализ описания и состава модели данных. Под семантическим анализом модели данных подразумевается этап в последовательности алгоритма автоматического понимания текстов. Он может быть использован с целью выявления дубликатов по показателям и справочникам.

Другие перспективных направления применения ИИ – это интеллектуальный анализ текста (проверка содержимого документа на актуальность и наличие противоречий с другими документами), корреляционный анализ значений показателей или анализ связей с другими показателями, предсказания в аналитическом блоке, оптимизация потоков данных.

В долгосрочной перспективе часть задач подсистем в цикле управления данными могут взять на себя модули с искусственным интеллектом.

Востребованные программные решения для систем управления данными:

  • Бизнес-глоссарий. Интерфейс по работе с бизнес-терминами для пользователей без специализированной подготовки
  • Дата-каталог. Количество доступных коннекторов (без доработок) к источникам данных для извлечения технических метаданных. Дополнительно оцениваются: возможность комментирования извлеченных метаданных, как отдельных таблиц, так и витрин данных; версионность метаданных; возможность профилирования; возможность построения моделей данных.
  • Дата-линедж. Уровень детализации, возможность построения связей между разными слоями данных, а также разбор скриптов трансформации.
  • Управление качеством данных. Возможность самостоятельной настройки проверок с помощью конструктора (минимизации программирования), отображения ошибок в данных в интерфейсе системы и их детализация,  нотификация о найденных ошибках, визуальный вид дашбордов, показывающих основные показатели по качеству данных по настроенным проверкам.
Вернуться назад
Поделиться
Наверх
Вы подписаны!
email
Подписка на новости
Нажимая на кнопку “Подписаться”, вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности