Консультации при внедрении
Несмотря на то, что билиотека dmp.af великолепна и проста в использовании, мы готовы провести консультации по ее внедрению.
Связаться с командой внедренияЧасто задаваемые вопросы
Все, что вы хотели узнать, на одной странице
dmp-af — общие сведения
Что такое dmp-af и зачем он нужен?
dmp-af запускает dbt‑модели параллельно в Airflow каждая модель становится отдельной задачей DAG с сохранением зависимостей между моделями и доменами. Это ускоряет пайплайны и масштабируется для больших проектов.
В чем ключевые преимущества?
Доменно-ориентированная архитектура с раздельными DAG’ами, конфигурация «dbt‑first» прямо из моделей, гибкое расписание (@hourly, @daily, @weekly, @monthly и др.), поддержка нескольких dbt‑таргетов, стратегии тестирования и интеграция с Kubernetes.
Для каких размеров проектов подходит?
Проект спроектирован для крупных dbt‑инсталляций (1000+ моделей), но корректно работает с проектами любого размера.
Установка и начало работы
Как установить dmp-af?
Добавьте пакет в окружение Airflow pip install dmp-af или включите dmp-af в requirements.txt вашего кластера Airflow.
Как создать первый DAG?
Определите конфигурацию в моделях dbt, затем сгенерируйте DAG в Airflow; dmp-af превратит модели в задачи с учетом зависимостей и расписаний.
Нужна ли специальная настройка в Airflow?
Требуется стандартная установка Airflow с доступом к вашему dbt‑проекту и профилям; dmp-af ставится как обычный Python‑пакет и использует конфигурацию из dbt.
Архитектура и возможности
Как dmp-af интегрируется с dbt?
Конфигурация хранится в самих моделях dbt; dmp-af читает параметры и строит задачи и DAG’и без необходимости ручной правки Airflow.
Поддерживает ли dmp-af несколько окружений и таргетов?
Да, доступны несколько dbt‑таргетов и связанные с ними политики запуска и тестирования.
Какие есть опции расписаний?
Можно назначать разные расписания на уровень модели, включая предустановленные периодики вроде hourly, daily, weekly, monthly.
Есть ли поддержка Kubernetes?
Да, предусмотрена работа в Kubernetes‑окружениях для enterprise‑сценариев.
Производительность и масштабирование
Как обеспечивается параллелизм и масштаб?
Разделение по доменам и преобразование моделей в независимые задачи Airflow позволяет распараллеливать вычисления, не нарушая зависимостей.
Подходит ли для data mesh?
Да, dmp-af ориентирован на доменно‑ориентированный дизайн и data mesh‑архитектуры.
Качество и тестирование
Как организовано тестирование?
Поддерживаются стратегии тестирования dbt, а также руководство по локальному запуску тестов и CI в документации по вкладу.
Можно ли настроить разные стратегии тестов для разных моделей?
Да, стратегии настраиваются конфигурацией в dbt и считываются dmp-af при построении DAG’ов.
Вклад и сообщество
Как принять участие в разработке?
Откройте issue или отправьте Pull Request согласно гайдлайнам CONTRIBUTING; проект поддерживается IJKOS & PARTNERS LTD и открыт для комьюнити.
Где посмотреть процесс релизов и тестирования?
В разделе Contributing доступны подробные инструкции по релизам, стилю кода, тестированию и рабочему процессу PR.
