OTUS: Демо-занятие курса «Data Engineer» - видео - HD
01:18:05
OTUS Онлайн - образование 1575 роликов
225 просмотров
Демо-занятие курса «Data Engineer» - видео -.
На сегодняшний день, инструменты Оркестрации — это отраслевой стандарт для организации получения, обработки и сохранения данных из сотен и даже тысяч разнородных источников с разнообразной частотой обновления и природой.
Сценарии использования платформ Оркестрации разнообразны: вы можете просто организовать регулярные select — group by- insert из production базы данных в «холодную» реплику под аналитику, а можете написать целый сервис, который будет раз в час обновлять данные, дообучать ML-модель и поставлять актуальные прогнозные значения конечным пользователям.
Данная технология — неотъемлемый инструмент в арсенале современного Data Engineer и администратора вычислительного кластера.
На Открытом Уроке мы подробно разберем, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow.
Приходите, будет интересно!
«Data Engineer» — otus.pw/bi4d/
Преподаватель: Максим Мигутин — более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов (Альфа-Банк, Yum! Brands)
Подключайтесь к обсуждению в чате — otus.pw/Xfl4/
Пройдите опрос по итогам мероприятия – otus.pw/T5zS/
Следите за новостями проекта:
— Facebook: otus.pw/3hO2
— Telegram: t.me/Otusjava
— ВКонтакте: otus.pw/850t
— LinkedIn: otus.pw/yQwQ/
— Хабр: otus.pw/S0nM/
Сценарии использования платформ Оркестрации разнообразны: вы можете просто организовать регулярные select — group by- insert из production базы данных в «холодную» реплику под аналитику, а можете написать целый сервис, который будет раз в час обновлять данные, дообучать ML-модель и поставлять актуальные прогнозные значения конечным пользователям.
Данная технология — неотъемлемый инструмент в арсенале современного Data Engineer и администратора вычислительного кластера.
На Открытом Уроке мы подробно разберем, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow.
Приходите, будет интересно!
«Data Engineer» — otus.pw/bi4d/
Преподаватель: Максим Мигутин — более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов (Альфа-Банк, Yum! Brands)
Подключайтесь к обсуждению в чате — otus.pw/Xfl4/
Пройдите опрос по итогам мероприятия – otus.pw/T5zS/
Следите за новостями проекта:
— Facebook: otus.pw/3hO2
— Telegram: t.me/Otusjava
— ВКонтакте: otus.pw/850t
— LinkedIn: otus.pw/yQwQ/
— Хабр: otus.pw/S0nM/
развернуть свернуть
Основная особенность «специальностей», образовавшихся в IT за последние 10-15 лет — вудуманные новые названия для старых сущностей.
«Airflow — это инструмент манипуляции данными.» Не слишком сильно? Может, инструмент для создания и выполнения развесистых скриптов?