Звіт про якість даних часто починається з повноти: поле «номер документа» заповнене у 98% записів. Цифра виглядає заспокійливо. Але вона відповідає лише на одне питання: чи є в полі хоч щось.
Що ховається за «заповнено»
Умовний приклад із реєстру отримувачів послуг (записи вигадані):
| Що в полі | Заповнене? | Придатне? |
|---|---|---|
АВ123456 |
так | так |
АВ 123456 |
так | після нормалізації |
123456, а серія в іншому полі |
так | лише разом з іншим полем |
0 або - |
так | ні |
12.03.2019 замість номера |
так | ні |
Усі п’ять записів потрапляють у 98%. Але для зіставлення з іншим реєстром, пошуку дублікатів чи перевірки права на виплату придатна лише частина.
Повнота: перша перевірка, а не оцінка якості
Типові проблеми, яких повнота не бачить:
- Формат. Дати в різних форматах, номери з пробілами й без, латиниця замість кирилиці в серії.
- Допустимі значення. Довідник передбачає два значення, а в даних їх шість.
- Заглушки. «0», «-», «невідомо», «01.01.1900» формально заповнюють поле.
- Поле не за призначенням. Серія документа в полі номера, коментар у полі адреси.
- Узгодженість між полями. Дата видачі документа раніша за дату народження.
- Унікальність. Той самий номер документа в різних людей.
Які перевірки ставити замість одного відсотка
Почніть не з метрики, а з рішення, яке ухвалюють на цих даних. Якщо поле потрібне для зіставлення з іншим реєстром, важливі формат, тип документа й унікальність. Якщо від нього залежить виплата, важливі допустимі значення та узгодженість з іншими полями.
Далі для кожного критичного поля:
- Запишіть бізнес-правило словами. Наприклад: «номер паспорта зразка книжечки: дві літери кирилицею і шість цифр».
- Перетворіть правило на перевірку, яку можна запускати регулярно, а не раз перед звітом.
- Рахуйте частку записів, що проходять перевірку, окремо від повноти.
- Для записів, що не пройшли, визначте, хто виправляє помилку в джерелі, а не у звіті.
Як показувати це керівництву
Замість одного числа покажіть дві колонки: «заповнено» і «придатне для використання». Різниця між ними і є реальний обсяг роботи. Вона ж підказує, де висновок звіту може бути спотворений: охоплення, кількість унікальних отримувачів, сума виплат.
Якщо різниця велика, проблема рідко в аналітиці. Частіше бракує правил введення даних і людини, яка відповідає за поле. З цього місця починається вже управління даними.
Питання для перевірки себе: чи знаєте ви для свого ключового реєстру не лише повноту, а й частку придатних записів?