Цифровое образование

OTUS: Демо занятие курса «DataOps Engineer» - видео - HD

OTUS: Демо занятие курса «DataOps Engineer» - видео -
01:44:18
Работая в сфере IT, нужно постоянно изучать новое, чтобы оптимизировать процессы и улучшать результаты труда. Часто для этого требуется в сжатые сроки освоить смежные направления и новые технологии. Где брать время? Учиться онлайн у профессионалов!

Демо занятие курса «DataOps Engineer» - видео -.

Apache Airflow сейчас является самым популярным оркестратором для построения ETL процессов. Это мощный и удобный инструмент, который позволяет создавать достаточно сложные пайплайны, управлять зависимостями, подключаться к любым системам и заменять собой кучу cron'ов и ручных запусков. Но при первой же попытке развернуть его вы столкнетесь с множеством вопросов:

— Где развернуть сервис?
— В контейнере или на виртуалке?
— Одним узлом или несколькими?
— Какой планировщик выбрать?
— Как настроить CI/CD для DAG?

Эти и другие вопросы мы обсудим на ближайшем открытом уроке по развертыванию Apache Airflow.

Сдавайте вступительное тестирование, и мы запишем вам на занятие.

«DataOps Engineer» — otus.pw/voVG/

Преподаватель: Егор Матешук — CDO AdTech — компании Квант

Подключайтесь к обсуждению в чате — otus.pw/S0Oj/

Пройдите опрос по итогам мероприятия — forms.gle/sYgYobGgujyFhm566

Следите за новостями проекта:
— Facebook: otus.pw/3hO2
— Telegram: t.me/Otusjava
— ВКонтакте: otus.pw/850t
— LinkedIn: otus.pw/yQwQ/
— Хабр: otus.pw/S0nM/
RSS
Alex Ov
20:35
А как правильно генерить таски?
Мы создаём даг, у нас в отдельном модуле есть функции которые проводят манипуляции с данными в питонячем коде и выполняем в pythonoperator. В этом самом питонячем коде считаются какие даты нужно загрузить и потом все итеративно грузится.
Но я так понял, что лучше часть с циклом вынести на даг?
Чтобы динамически генерить количество тасков и если что то падает, то можно было перезагрузить с той таски, которая упала?
Загрузка...