ѕоиск
???????

 онтроль и обеспечение качества данных


Ќизкое качество данных, которыми оперирует информационна€ система, может перечеркнуть все усили€ ее разработчиков и бизнес-аналитиков. Ќеверные данные, их неполнота, дублирование, противоречи€ и неактуальность неизбежно привод€т к ошибкам в работе системы и ее пользователей.

„аще всего проблема про€вл€етс€ в крупных клиентских базах. ѕри этом ошибки ведут к пр€мым экономическим потер€м из-за повышени€ трудоемкости операций, снижени€ продаж и удовлетворЄнности клиентов.

ѕричинами низкого качества данных обычно €вл€ютс€: наличие различных источников информации (например, несколько »—), изменени€ в системах и унаследованные данные, отсутствие требований и единых стандартов ввода и обработки данных, большие объемы.

600

млн $ в год потери американского бизнеса из-за недостаточного уровн€ качества данных

2%

записей в клиентском файле устаревают в течение мес€ца


IBS AppLine предлагает полный спектр услуг в области контрол€ качества данных:

  • –азработка алгоритмов и инструментов автоматической выверки и очистки

  • –учна€ выверка данных, не подлежащих автоматической обработке

  • “естирование данных

  • ќбучение сотрудников и разработка рекомендаций


»спользование выверенных и точных клиентских данных повышает эффективность работы, оптимизирует взаимодействие с клиентом и позвол€ет использовать аналитические системы, представл€ющие реальное положение дел в бизнесе.

Ќаши услуги могут включать разработку скриптов и программных инструментов контрол€ качества данных, а также ручные процедуры в случае нецелесообразности или невозможности автоматизации.

¬ своей работе мы используем различные инструменты дл€ очистки и верификации клиентских данных. ¬ отличие от разработчиков решений в области Master Data Management (MDM) IBS AppLine предлагает услуги в отрыве от конкретных платформ или продуктов.

ћы можем предоставить услуги тестировани€ данных как в ходе проектов по внедрению MDM-систем, так и дл€ клиентов, у которых система уже работает, и тем, кто в данный момент не готов к внедрению системы мастер-данных.

јктуальность и сложность задачи обеспечени€ качества данных привела к по€влению профессии стюарда данных (Data Steward). IBS AppLine готова организовать службу качества данных, а также подготовить и обучить дл€ вас команду стюардов данных.


ѕример проекта по контролю качества данных

ЂMDM-система в —бербанке –оссииї

»сторически банк имел территориально распределенную »“-архитектуру, поэтому существовало несколько локальных баз данных по клиентам. —бербанк решил внедрить систему, котора€ позвол€ет построить единый про≠филь клиента, чтобы банк мог использовать его во фронтовых, в бэк-офисных системах или в ка≠честве основы дл€ проведени€ марке≠тинговых кампаний, а также дл€ фор≠мировани€ отчетности.

«адача проекта:

  • —оздание единой Ђклиентской базыї банка (физические и юридические лица)
  • ќбеспечение максимально возможного уровн€ качества данных о клиентах (усовершенствование алгоритмов обработки, стандартизации и восстановлени€ данных)
  • –азработка процесса контрол€ качества данных и ручной выверки данных, не подлежащих автоматической обработке

–езультат:

  • ¬недрена система Ђ≈диный клиент —бербанкаї на базе IBM InfoSphere Master Data Management (MDM) Server с набором интеграционной логики и средством первоначальной загрузки данных IBM InfoSphere DataStage, позвол€ющим производить пакетные загрузки данных из систем-источников

  • ¬недрена система управлени€ качеством клиентских данных Ц ј— Ђ‘акторї

  • ¬ качестве корпоративной сервис≠ной шины был выбран продукт IBM WebSphere Message Broker Ч система интеграции, обеспечивающа€ син≠хронизацию данных между MDM-системой и смежными системами

—истема была передана в промышленную эксплуата≠цию. ¬ результате собрано и обработано 100% информации по физическим лицам (больше 110 млн записей Ч почти все трудоспособное население –оссии), около 95% информации по юридическим лицам.

—пециалисты IBS AppLine описывали и разрабатывали требовани€ к нормализации, стандартизации клиентских данных и их очистке, правилам дедубликации данных, выполн€ли тес≠тирование и оказывали консалтинго≠вые услуги.

ѕосле того как процесс контрол€ качества данных был построен, наша ко≠манда разработала технологическую схему процесса кон≠трол€ качества клиентских данных корпоративных клиентов, обучила сотрудников и передала выверку данных на сторону банка.  роме того, специалисты IBS AppLine разработали рекомендации по усовершенствованию процесса кон≠трол€ качества данных и осу≠ществл€ли поддержку команды —бербанка.