OTUS: Демо занятие курса «DataOps Engineer» - видео - HD
01:44:18
OTUS Онлайн - образование 1575 роликов
406 просмотров
Демо занятие курса «DataOps Engineer» - видео -.
Apache Airflow сейчас является самым популярным оркестратором для построения ETL процессов. Это мощный и удобный инструмент, который позволяет создавать достаточно сложные пайплайны, управлять зависимостями, подключаться к любым системам и заменять собой кучу cron'ов и ручных запусков. Но при первой же попытке развернуть его вы столкнетесь с множеством вопросов:
— Где развернуть сервис?
— В контейнере или на виртуалке?
— Одним узлом или несколькими?
— Какой планировщик выбрать?
— Как настроить CI/CD для DAG?
Эти и другие вопросы мы обсудим на ближайшем открытом уроке по развертыванию Apache Airflow.
Сдавайте вступительное тестирование, и мы запишем вам на занятие.
«DataOps Engineer» — otus.pw/voVG/
Преподаватель: Егор Матешук — CDO AdTech — компании Квант
Подключайтесь к обсуждению в чате — otus.pw/S0Oj/
Пройдите опрос по итогам мероприятия — forms.gle/sYgYobGgujyFhm566
Следите за новостями проекта:
— Facebook: otus.pw/3hO2
— Telegram: t.me/Otusjava
— ВКонтакте: otus.pw/850t
— LinkedIn: otus.pw/yQwQ/
— Хабр: otus.pw/S0nM/
— Где развернуть сервис?
— В контейнере или на виртуалке?
— Одним узлом или несколькими?
— Какой планировщик выбрать?
— Как настроить CI/CD для DAG?
Эти и другие вопросы мы обсудим на ближайшем открытом уроке по развертыванию Apache Airflow.
Сдавайте вступительное тестирование, и мы запишем вам на занятие.
«DataOps Engineer» — otus.pw/voVG/
Преподаватель: Егор Матешук — CDO AdTech — компании Квант
Подключайтесь к обсуждению в чате — otus.pw/S0Oj/
Пройдите опрос по итогам мероприятия — forms.gle/sYgYobGgujyFhm566
Следите за новостями проекта:
— Facebook: otus.pw/3hO2
— Telegram: t.me/Otusjava
— ВКонтакте: otus.pw/850t
— LinkedIn: otus.pw/yQwQ/
— Хабр: otus.pw/S0nM/
развернуть свернуть
Мы создаём даг, у нас в отдельном модуле есть функции которые проводят манипуляции с данными в питонячем коде и выполняем в pythonoperator. В этом самом питонячем коде считаются какие даты нужно загрузить и потом все итеративно грузится.
Но я так понял, что лучше часть с циклом вынести на даг?
Чтобы динамически генерить количество тасков и если что то падает, то можно было перезагрузить с той таски, которая упала?