4 апр. 2024 г.
Обещанного три года ждут, а toloka.ai опережает поставленные сроки: год назад мы рассказывали про наш подход к интеграции dbt и Airflow, а сейчас хотим поделиться нашей библиотекой, которую выложили в open source.
Эта библиотека позволяет интегрировать dbt — относительно новый, но уже достаточно популярный инструмент для описания трансформаций и Airflow — известный всем оркестратор ETL-процессов.
Доклад будет состоять из трех частей:
- Сперва напомним, как у нас все устроено, при чем тут data mesh, dbt и Airflow.
- Затем перейдем к анализу конкурентов, которых у нашей библиотеки dbt-af не так много.
- В конце покажем, насколько удобно dbt-af позволяет решать поставленные перед ней задачи.
Доклад, как и инструмент, будет полезен:
- DWH-командам, которые устали от гнета аналитиков;
- аналитикам, которые устали от медлительности DWH;
- всем, кому интересна практическая реализация data mesh с помощью доступных всем инструментов.
Библиотека: https://github.com/Toloka/dbt-af
