Блок 9. Данные и аналитические системы

Операционные системы производят данные, аналитические системы превращают их в отчёты, прогнозы и решения. Блок о том, как устроены аналитические хранилища, как моделировать данные для анализа, как строить конвейеры и как обеспечивать качество данных. Он продолжает ваш опыт с прогнозированием спроса и отвечает на частый вопрос собеседований «как у вас устроена аналитика».

# Модуль Неделя
9.1 OLTP и OLAP: почему отчёты не строят на проде 28
9.2 Моделирование хранилища данных: Кимбалл, Data Vault, слои 28
9.3 Конвейеры данных: ETL, ELT, оркестрация, потоковая обработка 29
9.4 Аналитические СУБД и выбор хранилища для данных 29
9.5 Качество данных, контракты данных, data mesh 29

Главные источники

  • Ralph Kimball, Margy Ross, The Data Warehouse Toolkit (3rd ed.).
  • Joe Reis, Matt Housley, Fundamentals of Data Engineering (O’Reilly, 2022).
  • Kleppmann, Designing Data-Intensive Applications — главы 3, 10, 11.
  • Документация ClickHouse (clickhouse.com/docs).

Критерий завершения блока

Для обезличенной ритейл-сети спроектировать аналитический контур: источники, способ загрузки, слои хранилища, звёздную схему для продаж и остатков, витрину для прогноза спроса, проверки качества данных и владельцев. Схема и таблица — в «Заметках» модуля 9.5.

Table of contents