На совещании финансовый директор называет одну выручку, коммерческий — другую, а отчёт из CRM показывает третью. Полчаса уходит на выяснение, чья цифра правильная. Знакомо? Это не вопрос дисциплины сотрудников. Это признак того, что у компании нет единого источника данных.
Откуда берётся разнобой
В типичной компании данные живут в нескольких местах:
- учёт — в 1С;
- продажи и клиенты — в CRM;
- склад — в отдельной WMS или той же 1С, но в другой базе;
- маркетинг — в рекламных кабинетах и аналитике сайта;
- планы и бюджеты — в Excel.
Каждый отчёт собирается из своего набора источников, по своим правилам и в своё время. Отсюда расхождения: где-то выручка с НДС, где-то без, где-то по дате отгрузки, где-то по дате оплаты.
Что такое хранилище данных
Хранилище данных (DWH, Data Warehouse) — это отдельная база, куда автоматически стекаются данные из всех систем компании. Там они:
- очищаются и приводятся к единым справочникам — один клиент, один товар, одно подразделение;
- считаются по единым правилам — одна методика расчёта выручки, маржи, остатков;
- хранятся с историей — можно посмотреть, как менялся показатель за любой период;
- становятся источником для всех отчётов и дашбордов.
Главный эффект — цифры перестают спорить друг с другом. Все отчёты берут данные из одного места.
Когда хранилище действительно нужно
Признаки, что пора:
- отчёты собираются вручную и устаревают к моменту сдачи;
- в разных отчётах разные цифры по одному показателю;
- аналитик тратит большую часть времени на выгрузки и сведение таблиц;
- у компании несколько юрлиц, филиалов или баз 1С;
- руководство хочет видеть показатели ежедневно, а не раз в месяц;
- планируется внедрение ИИ-аналитики — ей тоже нужны чистые данные.
Если у компании одна система и простая отчётность, хранилище может быть избыточным. Иногда достаточно настроить отчёты в самой учётной системе.
Из чего состоит проект
- Аудит источников и метрик. Какие системы есть, какие показатели важны, как их считают сейчас и где расхождения.
- Модель данных. Единые справочники и правила расчёта, согласованные с финансами и бизнесом.
- Загрузка данных. Автоматические регулярные выгрузки из 1С, CRM и других систем, с контролем качества.
- Витрины и дашборды. Готовые наборы данных под конкретные отчёты и управленческие панели.
- Описание метрик. Документ, где для каждого показателя указано, откуда он берётся и как считается.
Последний пункт часто недооценивают, хотя именно он закрывает споры на совещаниях.
Технологии
Для хранилищ обычно используют PostgreSQL или ClickHouse, для загрузки данных — Airflow и dbt, для визуализации — Apache Superset, Yandex DataLens или Power BI. Выбор зависит от объёма данных, требований к скорости и того, где должна работать система: в облаке или на серверах компании.
Главное
Хранилище данных — это не про технологии, а про доверие к цифрам. Когда у компании один источник правды, совещания тратятся на решения, а не на сверку таблиц.
Хотите разобраться со своими данными? Начнём с аудита источников и метрик, предложим архитектуру хранилища и дашборды под ваши задачи. Подробнее — в разделе Данные и BI.
