Поиск

Контроль и обеспечение качества данных


Низкое качество данных, которыми оперирует информационная система, может перечеркнуть все усилия ее разработчиков и бизнес-аналитиков. Неверные данные, их неполнота, дублирование, противоречия и неактуальность неизбежно приводят к ошибкам в работе системы и ее пользователей.

Чаще всего проблема проявляется в крупных клиентских базах. При этом ошибки ведут к прямым экономическим потерям из-за повышения трудоемкости операций, снижения продаж и удовлетворённости клиентов.

Причинами низкого качества данных обычно являются: наличие различных источников информации (например, несколько ИС), изменения в системах и унаследованные данные, отсутствие требований и единых стандартов ввода и обработки данных, большие объемы.

600

млн $ в год потери американского бизнеса из-за недостаточного уровня качества данных

2%

записей в клиентском файле устаревают в течение месяца


IBS AppLine предлагает полный спектр услуг в области контроля качества данных:

  • Разработка алгоритмов и инструментов автоматической выверки и очистки

  • Ручная выверка данных, не подлежащих автоматической обработке

  • Тестирование данных

  • Обучение сотрудников и разработка рекомендаций


Использование выверенных и точных клиентских данных повышает эффективность работы, оптимизирует взаимодействие с клиентом и позволяет использовать аналитические системы, представляющие реальное положение дел в бизнесе.

Наши услуги могут включать разработку скриптов и программных инструментов контроля качества данных, а также ручные процедуры в случае нецелесообразности или невозможности автоматизации.

В своей работе мы используем различные инструменты для очистки и верификации клиентских данных. В отличие от разработчиков решений в области Master Data Management (MDM) IBS AppLine предлагает услуги в отрыве от конкретных платформ или продуктов.

Мы можем предоставить услуги тестирования данных как в ходе проектов по внедрению MDM-систем, так и для клиентов, у которых система уже работает, и тем, кто в данный момент не готов к внедрению системы мастер-данных.

Актуальность и сложность задачи обеспечения качества данных привела к появлению профессии стюарда данных (Data Steward). IBS AppLine готова организовать службу качества данных, а также подготовить и обучить для вас команду стюардов данных.


Пример проекта по контролю качества данных

«MDM-система в Сбербанке России»

Исторически банк имел территориально распределенную ИТ-архитектуру, поэтому существовало несколько локальных баз данных по клиентам. Сбербанк решил внедрить систему, которая позволяет построить единый про­филь клиента, чтобы банк мог использовать его во фронтовых, в бэк-офисных системах или в ка­честве основы для проведения марке­тинговых кампаний, а также для фор­мирования отчетности.

Задача проекта:

  • Создание единой «клиентской базы» банка (физические и юридические лица)
  • Обеспечение максимально возможного уровня качества данных о клиентах (усовершенствование алгоритмов обработки, стандартизации и восстановления данных)
  • Разработка процесса контроля качества данных и ручной выверки данных, не подлежащих автоматической обработке

Результат:

  • Внедрена система «Единый клиент Сбербанка» на базе IBM InfoSphere Master Data Management (MDM) Server с набором интеграционной логики и средством первоначальной загрузки данных IBM InfoSphere DataStage, позволяющим производить пакетные загрузки данных из систем-источников

  • Внедрена система управления качеством клиентских данных – АС «Фактор»

  • В качестве корпоративной сервис­ной шины был выбран продукт IBM WebSphere Message Broker — система интеграции, обеспечивающая син­хронизацию данных между MDM-системой и смежными системами

Система была передана в промышленную эксплуата­цию. В результате собрано и обработано 100% информации по физическим лицам (больше 110 млн записей — почти все трудоспособное население России), около 95% информации по юридическим лицам.

Специалисты IBS AppLine описывали и разрабатывали требования к нормализации, стандартизации клиентских данных и их очистке, правилам дедубликации данных, выполняли тес­тирование и оказывали консалтинго­вые услуги.

После того как процесс контроля качества данных был построен, наша ко­манда разработала технологическую схему процесса кон­троля качества клиентских данных корпоративных клиентов, обучила сотрудников и передала выверку данных на сторону банка. Кроме того, специалисты IBS AppLine разработали рекомендации по усовершенствованию процесса кон­троля качества данных и осу­ществляли поддержку команды Сбербанка.

Закажите бесплатную консультацию по контролю и обеспечению качества данных