Выполните реальный проект из практики дата-инженера
Автоматизируете процесс очистки и сбора данных
Автоматизируете процесс очистки и сбора данных
По итогам курса вы:
Курс по Data Engineering
Включает
Требования
Для новичков
Hadoop, Linux, SQL, Apache Spark, Apache Airflow
Для тех, кто хочет
Автоматизировать процесс очистки и сбора данных
Практический курс по одному из самых перспективных направлений в Big Data
Партнер курса
Оценка курса
4.6
4.6
10 недель
Длительность
Формат
онлайн
онлайн
Научитесь строить пайплайны данных в реальном времени
В современных компаниях накапливается большой объем данных, из которых можно извлекать важную аналитику, строить гипотезы или прогнозные модели. Data Engineer — это специалист, который собирает данные из разных источников, очищает их и передает в удобном виде аналитикам для принятия бизнес-решений.
Аналитикам данных нужно знать, как работает хранилище данных, в каком виде там хранятся данные, как они обрабатываются и как их можно получить для анализа.
Курс ориентирован на практику и основные инструменты, подходит для тех, кто имеет базовые знания языка Python. За два месяца вы освоите все важные этапы Data Engineering.
Преподаватель
Михаил Королев
Ведущий Data Engineer в «АльфаСтрахование»
• Системный программист, изобретатель, руководитель, наставник
• Серьезно занимался параллельным программированием
• Имеет большой опыт в ритейле, страховании и брокерском бизнесе
• Работает с данными с 1996 года
• Приверженец и практик в Agile и самоуправлении
• Работал в крупных компаниях, в том числе зарубежных
• Системный программист, изобретатель, руководитель, наставник
• Серьезно занимался параллельным программированием
• Имеет большой опыт в ритейле, страховании и брокерском бизнесе
• Работает с данными с 1996 года
• Приверженец и практик в Agile и самоуправлении
• Работал в крупных компаниях, в том числе зарубежных
Курс из специализации Data Science
Python
Math&Stat
Machine Learning
Deep Learning
Data Engineering
Менеджмент
Программа курса
МОДУЛИ
1
Введение, практический linux
Кто такой Data Engineer и зачем ему Linux?
2
Современные хранилища данных
Разнообразие баз данных и их особенности
3
Экосистема Hadoop
Что такое Hadoop, что он умеет и как им пользоваться
4
Источники данных и работа с ними
Файлы как источники данных, JDBC — структурированные данные, SQL для выгрузки данных
5
Apache Spark и обработка данных
Зачем нужен Apache Spark и как с ним работать
6
Hadoop как хранилище данных
Особенности и нюансы hdfs
7
Apache Airflow для оркестрации конвейеров
Настройка data pipelines
8
Обзор облачных хранилищ
Особенности и нюансы работы с облачными хранилищами: Google, Amazon, Azure
Преимущества курса
В рамках курса вас ждет сквозной проект — реальная задача дата-инженера. На каждом новом этапе вы будете решать часть большой задачи, а в финале автоматизируете весь процесс.
Курс основан на практике. Мы рассматриваем инструмент или технологию, после чего сразу отрабатываем ее на практике.
Программа построена по принципу от простого к сложному. Вы узнаете и освоите самое важное о Data Engineering, что нужно знать инженеру данных.
В процессе обучения вам будет помогать преподаватель и команда кураторов, которые помогут разобраться с предметом и решат все технические и организационные вопросы.
Как проходит обучение
Вы сможете проходить обучение из любой точки планеты. Новые модули будут открываться раз в неделю.
Слушаете лекции преподавателей
Выполняете практические задания
По каждой теме вы выполняете практику — основанные на реальных кейсах задачи по Big Data.
Помощь преподавателя и коллектива
Вы будете получать поддержку наставников и постоянно общаться со своими сокурсниками в наших каналах в Slack.
Итоговый проект
В конце курса вы завершите собственный проект по настройке пайплайнов и хранилища данных.
1
2
3
4
Слушаете лекции преподавателей
Получите должность Android-разработчика
уровня Middle
уровня Middle
Жизнь на курсах SkillFactory
Уроки с упором на практику
Вы не просто изучаете алгоритмы, а учитесь использовать их в решении реальных бизнес-задач. После обучения сможете сразу использовать навыки в деле, а не разбираться с тем, как приспособить знания к жизни.
Уроки доступны на онлайн-платформе, для вдумчивого изучения в любое время.
Уроки доступны на онлайн-платформе, для вдумчивого изучения в любое время.
Помощь преподавателя и коллектива
Если что-то не получается, вы не останетесь один на один с трудностями. Рядом всегда будет преподаватель, который поможет разобраться с проблемой.
Когда видишь успехи остальных, учиться легче. Если у кого-то получается лучше, это подстегивает к более активным действиям. Если получается лучше остальных, то вы помогаете коллегам.
Когда видишь успехи остальных, учиться легче. Если у кого-то получается лучше, это подстегивает к более активным действиям. Если получается лучше остальных, то вы помогаете коллегам.
Общаемся и помогаем друг другу в Slack
Для курса создается сообщество в Slack. В нем участники делятся впечатлениями и решениями задач, спрашивают совета, а преподаватель все подробно разъясняет.
Делаем домашние задания
Тут все очевидно: чтобы научиться, нужно практиковаться. Дома вы делаете задания, строите дашборды, а преподаватель и сокурсники вам в этом помогают.
На курсе обучение не заканчивается
Развитие карьеры и бизнеса
Помощь с трудоустройством и стажировкой, тусовка специалистов и полезные знакомства
Часто задаваемые вопросы
Задача Data Engineering — сбор, обработка и хранение данных для того, чтобы их могли использовать аналитики и другие сотрудники компании.
Эти накопленные данные используют, например, для машинного обучения и построения прогнозов, для анализа и принятия управленческих решений.
Эти накопленные данные используют, например, для машинного обучения и построения прогнозов, для анализа и принятия управленческих решений.
Бизнес-аналитикам часто приходится самостоятельно заниматься процессами сбора данных из разных источников, первоначальной обработкой, очисткой, настройкой пайплайнов.
Если вы работаете на позиции Data Scientist, то вы постоянно общаетесь с инженерами данных. Вам нужно знать методы и технологии хранения и доставки данных, чтобы эффективно взаимодействовать с инженерами.
Если вы работаете на позиции Data Scientist, то вы постоянно общаетесь с инженерами данных. Вам нужно знать методы и технологии хранения и доставки данных, чтобы эффективно взаимодействовать с инженерами.
Курс предназначен для профессиональных бизнес-аналитиков, специалистов по Data Science, аналитиков данных, разработчиков, которые хотят научиться выстраивать потоки данных, и менеджеров, руководителей, которым нужно понимать, как устроено хранилище данных, как собираются и очищаются данные.
Область Big Data — бесконечная, требующая постоянного самообразования и отслеживания новых технологий. Вы пройдете от точки «я ничего не знаю» до точки «я решаю задачи по Data Engineering и знаю, где это применить и как развиваться дальше».
Основной ответ такой — наш курс не является заменой бесплатным онлайн-курсам. Напротив, такие онлайн-курсы — это очень хорошо и полезно. Но у наших курсов есть неоспоримые преимущества: фокус на практике, помощь преподавателя и поддержка группы.
Вы будете учиться по принципу одно занятие = одна задача. Вместе с опытным специалистом по инжинирингу данных вы пройдете все этапы извлечения, обработки, загрузки, хранения, очистки, доставки данных.
Если вы столкнетесь с проблемой при выполнении задания, вам всегда будет, к кому обратиться: вы сможете получить совет от одногруппников и помощь преподавателя в закрытом сообществе в Slack.
Вы будете учиться по принципу одно занятие = одна задача. Вместе с опытным специалистом по инжинирингу данных вы пройдете все этапы извлечения, обработки, загрузки, хранения, очистки, доставки данных.
Если вы столкнетесь с проблемой при выполнении задания, вам всегда будет, к кому обратиться: вы сможете получить совет от одногруппников и помощь преподавателя в закрытом сообществе в Slack.
Да. Убедитесь в этом, посмотрите статистику профессии Data Engineer на русскоязычных и зарубежных кадровых сайтах.