ИНЖЕНЕР ДАННЫХ.
ОБУЧЕНИЕ У НАС

Инженерия данных от проектирования до нетривиальной обработки.
СТАРТ ПРОГРАММЫ
ФОРМАТ ОБУЧЕНИЯ
ОНЛАЙН
КОМУ ПОДОЙДЁТ
JUNIOR+ / middle
Старт потока продвинутого курса Hard Аналитика данных
Формат обучения на курсе Hard Аналитика
Кому подойдет курс Hard Аналитика
21 СЕНТЯБРЯ

НАУЧИТЕСЬ ПРАВИЛЬНО ГОТОВИТЬ ДАННЫЕ ЛЮБЫХ РАЗМЕРОВ И СЛОЖНОСТИ

Обучающие выборки для машинного обучения и красивые графики для отчётов не появляются сами собой: данные нужно собирать, хранить, валидировать и комбинировать между собой, быстро реагируя на изменения в их структуре.
Стандартный путь:
1/ НАЧИНАЕШЬ РАБОТАТЬ С ДАННЫМИ
2/ ПЫТАЕШЬСЯ СДЕЛАТЬ СИСТЕМНО И РАСШИРЯЕМО
3/ ПОНИМАЕШЬ, ЧТО НЕ ХВАТАЕТ ЗНАНИЙ, ЧТОБЫ ОХВАТИТЬ ВСЮ АРХИТЕКТУРУ DWH ЦЕЛИКОМ
Для работы с данными недостаточно знать один инструмент — необходимо учитывать весь спектр взаимосвязей большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.
Сильный инженер данных за счёт широты знаний может выбрать правильный инструмент под любые задачи, охватить всю архитектуру DWH целиком и донести результат до потребителей данных.
Сильный инженер данных за счёт широты знаний и понимания архитектуры DWH способен подобрать правильные инструменты под любые задачи и донести результат до потребителей данных.
Для эффективной работы с данными одного инструмента недостаточно — необходимо учитывать все взаимосвязи большого хранилища, понимать потребности заказчика и воспринимать данные как конечный продукт.

КОМУ ПОДОЙДЁТ ЭТОТ КУРС:

Постоянно взаимодействуете с базами данных, но хотите лучше разобраться в ETL-процессах и выйти на качественно новый уровень в аналитике.
АНАЛИТИК ДАННЫХ
Уже работаете с хранилищами данных, но хотите систематизировать знания и глубже погрузиться в актуальные технологии.
ИНЖЕНЕР ДАННЫХ
Имеете опыт бэкенд-разработки и хотите применить его для решения задач, связанных с хранением и обработкой больших данных.
BACKEND-РАЗРАБОТЧИК
Занимаетесь развитием систем бизнес-аналитики, хотите освоить архитектуру современных хранилищ данных и научиться их проектировать.
BI-РАЗРАБОТЧИК

какие инструменты освоите >

Хранение

PostgreSQL
Hadoop
S3
Greenplum
Python
SQL
Hive

Обработка

Spark
Kafka

Машинное обучение

ML Flow
Spark ML
SuperSet
Tableu
DataLens

Визуализация

Airflow

Оркестраторы

ЧТО НЕОБХОДИМО ДЛЯ КУРСА [?]

ПРОГРАММА КУРСА ://

КАК ПРОХОДИТ ОБУЧЕНИЕ >

ПОДРОБНЕЕ О КУРСЕ

Преподаватели расскажут о курсе и его содержании. Вы узнаете, в чём ценность каждого модуля и как полученные знания помогут в дальнейшей работе.

Формат и нагрузка

 Обучение проходит в интенсивном формате по 3 занятия в неделю. Для каждого домашнего задания установлены мягкие двухнедельные дедлайны.
 На учёбу наши студенты тратят в среднем 10−15 часов в неделю
 Если у вас возникнут сложности с выполнением заданий, вы сможете обратиться к команде сопровождения — эксперты помогут разобраться с любой задачей из курса.

Инфраструктура

 Работайте со всеми необходимыми инструментами на выделенном сервере

 Совершенствуйте навыки работы с Hadoop, Greenplum, PostgreSQL, Airflow, Spark, Hive и Kubernetes
Формат и нагрузка
⦁Обучение проходит в⦁интенсивном формате по⦁3 занятия в⦁неделю. Для⦁каждого домашнего задания установлены мягкие двухнедельные дедлайны.
⦁На⦁учёбу наши студенты тратят в⦁среднем 10−15 часов в⦁неделю
⦁Если у⦁вас возникнут сложности с⦁выполнением заданий, вы⦁сможете обратиться к⦁команде сопровождения⦁— эксперты помогут разобраться с⦁любой задачей из⦁курса.
Инфраструктура
 Работайте со всеми необходимыми инструментами на выделенном сервере
 Совершенствуйте навыки работы с Hadoop, Greenplum, PostgreSQL, Airflow, Spark, Hive и Kubernetes

ВАШИ НАВЫКИ ЧЕРЕЗ == 5 МЕСЯЦЕВ

ВИКТОР КУЗНЕЦОВ
Инженер данных
Работаю с реляционными базами данных, в том числе MPP, понимаю особенности работы распределенных систем на базе Greenplum

Умею строить и автоматизировать ETL\ELT-пайплайны на базе Apache Airflow

Имею опыт работы с большими данными в Hadoop и Spark, умею составлять сложные SQL запросы в Apache Hive

Разбираюсь в архитектуре хранилищ данных (DWH), владею методами многомерного моделирования, якорного моделирования и Data Vault
Greenplum
Airflow
Hadoop
Spark
Apache Hive
DWH

Авторы курса >

ЕВГЕНИЙ ЕРМАКОВ
Руководитель платформы данных toloka.ai
НЕРСЕС БАГИЯН
Head of DS в Raiffeisen CIB
Читать подробнее →
Работа с командой DWH и обработка больших данных
Модуль:
Валерий Соколов
Старший администратор баз данных в Яндекс Go
РОМАН БУНИН
BI-evangelist Yandex DataLens, ex-Head of BI Yandex Go
Дина Сафина
Руководитель инженеров данных в Ozon.Fintech
АЛЕКСАНДР ВОЛЫНСКИЙ
Технический менеджер продукта ML Platform в VK Cloud Solutions
Антон Пилипенко
ETL team lead в IPONWEB
Александр Савченко
Руководитель R&D в Сбер

ОТЗЫВЫ ВЫПУСКНИКОВ /

скоро следующее видео
  • Я остался доволен курсом: и технологии новые освоил (причём в прикладном, а не обзорном формате), и пробелы в фундаментальном понимании закрыл. И самое главное — загорелся идеей развернуть своё дата-решение в облаке. В результате я взял сервер на DigitalOcean и сделал там своё рабочее пространство: прямо по всем рекомендациям с уроков развернул в нём кластеры, Jupyter, Superset для визуализации, Airflow для автоматизации, а также Spark и ClickHouse. Остался весьма доволен.

    Сейчас я перестраиваю свой пет-проект и переношу на этот сервер — с построением процессов, как разбирали на курсе. У меня, конечно, не BigData, всё куда прозаичнее и меньше, но зато теперь есть реальный опыт ;)
    Ярослав
  • Я работал с машинным обучением и аналитикой, делал скоринговые и рекомендательные модели. На прошлом месте работы я руководил командой, в которой были инженеры данных. И я хотел подтянуть свои компетенции. Сейчас я поменял работу из-за переезда. Компания меньше, поэтому где-то я делаю аналитику, где-то выполняю функции инженера, а где-то разрабатываю.

    Сначала я проходил курсы на Stepik, оттуда узнал про курс Hard ML в Karpov.Courses. К собственным конспектам Hard ML регулярно возвращаюсь, чтобы лучше решать задачи по работе. Сомнений при покупке курса по инженерии данных не было, хотя после курса Hard ML ожидания были высокие. По результатам: в целом всё то, что хотел узнать, я узнал. Теоретические видео были интересными и содержательными. Понравился блок по облачным хранилищам, сразу есть возможность развернуть что-то своё. Бывает, пересматриваю блок по ETL — знания оттуда помогают решать рабочие задачи. Немного не хватило практики. Хотелось бы больше заданий на написание кода. С точки зрения формата — хорошо, что все лекции записаны заранее. Я думаю, что это правильно — преподаватели не устают и не выдыхаются. Приятно, что вокруг курсов сформировалось комьюнити, и в чатах помогают как студенты, так и преподаватели.
    Николай
  • Я остался доволен курсом: и технологии новые освоил (причём в прикладном, а не обзорном формате), и пробелы в фундаментальном понимании закрыл. И самое главное — загорелся идеей развернуть своё дата-решение в облаке. В результате я взял сервер на DigitalOcean и сделал там своё рабочее пространство: прямо по всем рекомендациям с уроков развернул в нём кластеры, Jupyter, Superset для визуализации, Airflow для автоматизации, а также Spark и ClickHouse. Остался весьма доволен.

    Сейчас я перестраиваю свой пет-проект и переношу на этот сервер — с построением процессов, как разбирали на курсе. У меня, конечно, не BigData, всё куда прозаичнее и меньше, но зато теперь есть реальный опыт ;)
    Ярослав

FAQ