Якість даних

Помилка в даних стає дорогою тоді, коли на ній уже побудували рішення

Якість даних (Data Quality) починається не з абстрактного відсотка. Потрібно знати, які помилки реально змінюють виплату, охоплення, звіт або управлінський висновок.

Обговорити задачу Що саме робимо

Коли це стає проблемою

Якість даних (Data Quality)

Поле заповнене, але значення неправильне

Повнота сама по собі нічого не гарантує. Дата, код, документ або адреса можуть бути формально заповнені й непридатні для роботи.

Дублікати змінюють підсумок

Одна людина, організація або подія може існувати в кількох записах і спотворювати охоплення чи суму.

Помилку бачать уже у звіті

Контроль стоїть у кінці процесу. Потрібно переносити перевірки ближче до моменту створення або обміну даними.

Що робимо

Що саме робимо

Я не починаю з сотні правил. Спочатку визначаємо критичні поля й сценарії, де помилка впливає на гроші, послугу, ідентифікацію людини або звітність.

Профілювання даних (data profiling) і пошук аномалій.
Перевірки повноти, валідності, унікальності, узгодженості та своєчасності.
Бізнес-правила якості (Data Quality rules) для критичних полів і документів.
Пошук дублів, конфліктів і проблем ідентифікації між системами.
Інформаційні панелі контролю якості (Data Quality dashboards) і процес виправлення помилок.

Як працюємо

Критичні дані

Визначаємо, де помилка справді змінює результат.

Профіль

Дивимося на фактичні значення, маски, пропуски, дублікати й розподіли.

Правила

Перекладаємо бізнес-вимоги в перевірки, які можна автоматизувати.

Контроль

Фіксуємо, хто бачить проблему, хто виправляє і як перевіряється результат.