Контроль и обеспечение качества данных
Чаще всего проблема проявляется в крупных клиентских базах. При этом ошибки ведут к прямым экономическим потерям из-за повышения трудоемкости операций, снижения продаж и удовлетворённости клиентов.
Причинами низкого качества данных обычно являются: наличие различных источников информации (например, несколько ИС), изменения в системах и унаследованные данные, отсутствие требований и единых стандартов ввода и обработки данных, большие объемы.
млн $ в год потери американского бизнеса из-за недостаточного уровня качества данных
записей в клиентском файле устаревают в течение месяца
IBS AppLine предлагает полный спектр услуг в области контроля качества данных:
-
Разработка алгоритмов и инструментов автоматической выверки и очистки
-
Ручная выверка данных, не подлежащих автоматической обработке
-
Тестирование данных
-
Обучение сотрудников и разработка рекомендаций
Использование выверенных и точных клиентских данных повышает эффективность работы, оптимизирует взаимодействие с клиентом и позволяет использовать аналитические системы, представляющие реальное положение дел в бизнесе.
Наши услуги могут включать разработку скриптов и программных инструментов контроля качества данных, а также ручные процедуры в случае нецелесообразности или невозможности автоматизации.
В своей работе мы используем различные инструменты для очистки и верификации клиентских данных. В отличие от разработчиков решений в области Master Data Management (MDM) IBS AppLine предлагает услуги в отрыве от конкретных платформ или продуктов.
Мы можем предоставить услуги тестирования данных как в ходе проектов по внедрению MDM-систем, так и для клиентов, у которых система уже работает, и тем, кто в данный момент не готов к внедрению системы мастер-данных.
Актуальность и сложность задачи обеспечения качества данных привела к появлению профессии стюарда данных (Data Steward). IBS AppLine готова организовать службу качества данных, а также подготовить и обучить для вас команду стюардов данных.
Пример проекта по контролю качества данных
«MDM-система в Сбербанке России»
Исторически банк имел территориально распределенную ИТ-архитектуру, поэтому существовало несколько локальных баз данных по клиентам. Сбербанк решил внедрить систему, которая позволяет построить единый профиль клиента, чтобы банк мог использовать его во фронтовых, в бэк-офисных системах или в качестве основы для проведения маркетинговых кампаний, а также для формирования отчетности.
Задача проекта:
- Создание единой «клиентской базы» банка (физические и юридические лица)
- Обеспечение максимально возможного уровня качества данных о клиентах (усовершенствование алгоритмов обработки, стандартизации и восстановления данных)
- Разработка процесса контроля качества данных и ручной выверки данных, не подлежащих автоматической обработке
Результат:
-
Внедрена система «Единый клиент Сбербанка» на базе IBM InfoSphere Master Data Management (MDM) Server с набором интеграционной логики и средством первоначальной загрузки данных IBM InfoSphere DataStage, позволяющим производить пакетные загрузки данных из систем-источников
-
Внедрена система управления качеством клиентских данных – АС «Фактор»
-
В качестве корпоративной сервисной шины был выбран продукт IBM WebSphere Message Broker — система интеграции, обеспечивающая синхронизацию данных между MDM-системой и смежными системами
Система была передана в промышленную эксплуатацию. В результате собрано и обработано 100% информации по физическим лицам (больше 110 млн записей — почти все трудоспособное население России), около 95% информации по юридическим лицам.
Специалисты IBS AppLine описывали и разрабатывали требования к нормализации, стандартизации клиентских данных и их очистке, правилам дедубликации данных, выполняли тестирование и оказывали консалтинговые услуги.
После того как процесс контроля качества данных был построен, наша команда разработала технологическую схему процесса контроля качества клиентских данных корпоративных клиентов, обучила сотрудников и передала выверку данных на сторону банка. Кроме того, специалисты IBS AppLine разработали рекомендации по усовершенствованию процесса контроля качества данных и осуществляли поддержку команды Сбербанка.
Закажите бесплатную консультацию по контролю и обеспечению качества данных