Курсы по Hadoop и Spark

Spark для Data Engineering

Шёл за Spark, потому что в вакансиях он прям как соль в еде — без него никак. Зашло, что дают логику движка: RDD/DF, где кешить, где не надо геройствовать. После пары недель перестал бояться “in-memory” и перестал ломать джобы на ровном месте. Практики много, я это люблю.

Hadoop: HDFS + YARN + MapReduce

Про Hadoop я раньше знала только мем “это же древность”. А потом оказалось — он всё ещё живёт, и HDFS/YARN/MapReduce надо хотя бы понимать, иначе разговоры с командой как на разных языках. На курсе норм разложили, что где хранится, кто чем рулит. Единственное — местами темп рваный, я пару лекций пересматривала по два раза. Но в голове уложилось.

Apache Spark + Spark SQL

Вот Spark SQL мне зашёл прям с первого занятия. Когда тебе показывают DataFrame-подход и как через него можно думать “как в SQL”, становится легче, мозг не плавится. Домашки — живые, не “напишите hello world”. Я наконец-то понял, почему все говорят про оптимизации и почему RDD не всегда надо тащить руками.

Hadoop для начинающих

Я ожидал “клик-клик и всё поехало”, а Hadoop такой: сначала разберись, где NameNode, где DataNode, потом поговорим. Это честно. Но интерфейсных подсказок мало, новичку можно улететь в ступор, я пару раз просто злился. В итоге: понимание системы появилось, но хотелось бы больше примеров, ближе к рабочим кейсам.

ETL на Spark

Понравилось, что Spark дают не как магию, а как инструмент: прочитал, преобразовал, сохранил, и всё это внятно. Когда дошли до кеширования и “почему оно ускоряет не всегда”, я прям выдохнула. Была пара сложных мест, где я зависла, но наставник реально отвечал, не “гуглите”. Я такое ценю.

Hadoop + экосистема (YARN)

Мне понравилось, что не застряли в одном MapReduce и не делали вид, что мир не изменился. YARN объяснили нормально: кто распределяет ресурсы, почему это важно, как оно живёт в кластере. Я работаю с логами, поэтому тема “планирование задач” прям больная. Тут стало спокойнее. Минус — входной порог, надо хоть чуть понимать Linux.

Spark: RDD и DataFrame на практике

Курс бодрый. Я люблю, когда показывают “вот так будет плохо” и почему именно плохо. С RDD стало яснее: не религия, просто более низкий уровень, местами нужен контроль. Потом переход на DataFrame — и ты такой, окей, теперь я понимаю, зачем люди топят за него. Домашка — норм, без цирка.

Big Data: Hadoop + Spark основы

Мне нужно было быстро “въехать”, без академизма. Тут как раз так: показали, чем Hadoop как платформа отличается от Spark как движка, где HDFS, где вычисления. Не всё гладко, местами теория ускоряется и ты сидишь: подождите, я ещё кофе не допил. Но общее понимание появилось, и это уже сильно снижает стресс на работе.

Spark Streaming (вводный)

Я брал ради стриминга. Ожидал больше “как строить пайплайн”, а получилось больше “вот API и вот пример”. Это не ужас, просто… надо заранее понимать, что это вводняк. Из плюсов: стало ясно, как через SparkSession и readStream вообще к этому подходить, дальше уже сам ковыряешься.

Hadoop: HDFS на пальцах

Мне понравилось, что HDFS объяснили без пафоса: кто хранит блоки, зачем репликация, почему “один сервер” — это боль. Для работы с данными это полезно, даже если ты не админ. Иногда хотелось больше картинок/схем, но я пережила. В общем, как короткий модуль — норм.

Spark для задач ML/итеративных расчётов

Я шёл с мыслью “ну Spark быстрый, да”, и всё. А тут аккуратно объяснили, почему скорость часто упирается в то, что промежуточные данные можно держать в памяти и не долбиться диском каждую стадию. И вот после этого я перестал писать пайплайн как попало. Плюс задания заставляют думать, не просто повторять. Это мой формат.

Data Engineering: Spark + основы Hadoop

Хороший баланс: Spark дают как основной инструмент, Hadoop — как базу, чтобы понимать, где хранилище и почему “всё на HDFS” звучит логично в больших кластерах. Мне понравился стиль подачи: без лишних мантр, больше “сделай — посмотри — сломай — почини”. Чуть не хватило разбора типичных ошибок по производительности, но это уже моя жадность. В целом, крепко.