Github

Рабочий Data Mesh на базе dbt и airflow

dbt — стандарт де-факто для трансформаций данных в Хранилище. Airflow — мощный оркестратор всех процессов обработки данных. DMP.AF объединяет их вместе и превращает хаос Data Mesh в управляемую экосистему данных.

Быстрый старт

Ваш Data Mesh превратился в полный Mess?

Вам знакома усталость от бесконечных согласований, нестыковок в данных и ручного запуска пайплайнов? Вы строите data-платформу, а каждый новый домен превращается в отдельный остров с собственными правилами, скриптами и расписаниями? Data Mesh кажется идеей будущего, но как реализовать её на практике — быстро, гибко и без боли?

  • Дублирование логики трансформаций и ETL.
  • Нет прозрачности: что, когда и почему обновилось?
  • Каждый департамент пишет свой пайплайн — поддерживать сложно, внедрять изменения рискованно.
  • Ручной труд, ошибки, потеря времени и доверия к данным.

Знакомо до боли…

Дайте вашим данным свободу и надежность одновременно.

Интеграция dbt + Airflow с философией Data Mesh — это ультимативный способ построить масштабируемую и прозрачную data-платформу будущего.

DMP.AF объединяет два продукта вместе вместе и превращает хаос Data Mesh в управляемую экосистему данных.

dmp-af запускает ваши dbt-модели параллельно в Airflow. Каждая модель становится независимой задачей, сохраняя зависимости между доменами. Решение ваших проблем с данными - платформа dmp.af.

Увидеть решение!

Доменно-ориентированная архитектура

Разделяйте модели по доменам в разные DAG, запускайте их параллельно — идеально подходит для архитектуры data mesh.

  • dbt-First подход

    Вся конфигурация — в настройках моделей dbt. Аналитические команды работают только в dbt, знание Airflow не требуется.

  • Гибкое расписание

    Несколько расписаний для каждой модели (@hourly, @daily, @weekly, @monthly и другие).

  • Корпоративные функции

    Множество dbt-таргетов, настраиваемые стратегии тестирования, встроенное обслуживание, поддержка Kubernetes.

  • Автоматически создаваемые DAG

    Автоматически создает DAG Airflow из вашего проекта dbt, организованные по домену и расписанию. Легко управляет зависимостями между доменами.

  • Удобно для команд

    Аналитические команды работают только в dbt. Писать DAG для Airflow не требуется. Инфраструктура настраивается автоматически.

  • Идемпотентные запуски

    Каждая модель — отдельная задача Airflow с передачей интервалов дат для каждого запуска. Гарантированы надежные возвраты к прошлым данным и повторные запуски.

Устал листать?

Развернуть dmp.af

“Платформа dmp.af просто разделила мою жизнь на до и после!”

—  Буквально каждый пользователь библиотеки

Простое ценообразование

Библиотека dmp.af поставляется как open-source решение, ее может использовать и дорабатывать любой. Кажется сложным и непонятным? Тогда вам подойдет облачное решение!

  • Абсолютно бесплатно

    Open-source

    Да, абсолютно бесплатно. Начните прямо сейчас.

    £0 (!!!)

    • Генерация DAG на базе dbt
    • Преимущества dbt и airflow
    • Data Mesh подход из коробки
    • доработка open-source сообществом

    Попробовать

  • Популярно

    Облачное решение

    Заботы об инфраструктуре нам, качество и надежность вам.

    от £3.14/месяц

    • Вся функциональность бесплатной библиотеки
    • Готовая инфраструктура для запуска решения
    • Удобный web-интерфейс
    • Низкая стоимость

    Звучит интересно

  • Все включено

    Внедрение под ключ

    Наша команда высаживается к вам и не уходит, пока не внедрит платформу dmp.af

    £££ по запросу

    • Вся функциональность облачного решения
    • Но на вашей инфраструктуре
    • Индивидуальные доработки
    • Обучение вышей команды

    Связаться

Публичные материалы

  • От хаоса в 1С к инкрементальному DWH на Postgres, Airflow и dbt

    От хаоса в 1С к инкрементальному DWH на Postgres, Airflow и dbt

    18 февр. 2026 г.

    Оригинальная статья на denvic.tech Александр Мазалов (Senior Data Engineer & Data Architect) описывает реальный кейс миграции с хаотичной архитектуры на основе 1С и KNIME к современному ...

    Читать далее

  • dbt в Data Mesh. С любовью о пользователях

    dbt в Data Mesh. С любовью о пользователях

    13 авг. 2024 г.

    Ссылка на выступление Леонид и Никита — авторы активно набирающей популярность интеграции dmp-af. В своём докладе расскажут про жизнь с большими данными в концепции data mesh, опишут свой ст...

    Читать далее

  • От хайпа до продакшена: data mesh на Airflow + dbt

    От хайпа до продакшена: data mesh на Airflow + dbt

    4 апр. 2024 г.

    Ссылка на выступление Обещанного три года ждут, а toloka.ai опережает поставленные сроки: год назад мы рассказывали про наш подход к интеграции dbt и Airflow, а сейчас хотим поделиться нашей...

    Читать далее

  • dbt — ядро современной платформы данных

    dbt — ядро современной платформы данных

    7 сент. 2023 г.

    Ссылка на выступление dbt — один из самых быстро набирающих популярность инструментов в сфере построения платформ и хранилищ данных. Сочетание простоты и функциональности этого инструмента п...

    Читать далее

Загрузить больше...

Часто задаваемые вопросы

dmp-af — общие сведения

Что такое dmp-af и зачем он нужен?
dmp-af запускает dbt‑модели параллельно в Airflow каждая модель становится отдельной задачей DAG с сохранением зависимостей между моделями и доменами. Это ускоряет пайплайны и масштабируется для больших проектов.
В чем ключевые преимущества?
Доменно-ориентированная архитектура с раздельными DAG’ами, конфигурация «dbt‑first» прямо из моделей, гибкое расписание (@hourly, @daily, @weekly, @monthly и др.), поддержка нескольких dbt‑таргетов, стратегии тестирования и интеграция с Kubernetes.
Для каких размеров проектов подходит?
Проект спроектирован для крупных dbt‑инсталляций (1000+ моделей), но корректно работает с проектами любого размера.

Установка и начало работы

Как установить dmp-af?
Добавьте пакет в окружение Airflow pip install dmp-af или включите dmp-af в requirements.txt вашего кластера Airflow.
Как создать первый DAG?
Определите конфигурацию в моделях dbt, затем сгенерируйте DAG в Airflow; dmp-af превратит модели в задачи с учетом зависимостей и расписаний.
Нужна ли специальная настройка в Airflow?
Требуется стандартная установка Airflow с доступом к вашему dbt‑проекту и профилям; dmp-af ставится как обычный Python‑пакет и использует конфигурацию из dbt.

Архитектура и возможности

Как dmp-af интегрируется с dbt?
Конфигурация хранится в самих моделях dbt; dmp-af читает параметры и строит задачи и DAG’и без необходимости ручной правки Airflow.
Поддерживает ли dmp-af несколько окружений и таргетов?
Да, доступны несколько dbt‑таргетов и связанные с ними политики запуска и тестирования.
Какие есть опции расписаний?
Можно назначать разные расписания на уровень модели, включая предустановленные периодики вроде hourly, daily, weekly, monthly.
Есть ли поддержка Kubernetes?
Да, предусмотрена работа в Kubernetes‑окружениях для enterprise‑сценариев.

Производительность и масштабирование

Как обеспечивается параллелизм и масштаб?
Разделение по доменам и преобразование моделей в независимые задачи Airflow позволяет распараллеливать вычисления, не нарушая зависимостей.
Подходит ли для data mesh?
Да, dmp-af ориентирован на доменно‑ориентированный дизайн и data mesh‑архитектуры.

Качество и тестирование

Как организовано тестирование?
Поддерживаются стратегии тестирования dbt, а также руководство по локальному запуску тестов и CI в документации по вкладу.
Можно ли настроить разные стратегии тестов для разных моделей?
Да, стратегии настраиваются конфигурацией в dbt и считываются dmp-af при построении DAG’ов.

Вклад и сообщество

Как принять участие в разработке?
Откройте issue или отправьте Pull Request согласно гайдлайнам CONTRIBUTING; проект поддерживается IJKOS & PARTNERS LTD и открыт для комьюнити.
Где посмотреть процесс релизов и тестирования?
В разделе Contributing доступны подробные инструкции по релизам, стилю кода, тестированию и рабочему процессу PR.

Консультации при внедрении

Несмотря на то, что билиотека dmp.af великолепна и проста в использовании, мы готовы провести консультации по ее внедрению.

Связаться с командой внедрения