Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.
Часть1.HDFS,MapReduce,Hive
В этом модуле вы изучите:
▶ вводная часть: знакомство (задачи, оценки, дедлайны), подробности...
Кому подойдет этот курс
Разработчикам
Вы программируете, но хотите расширить профессиональные возможности и получить практические навыки работы с большими данными? На курсе вы научитесь работать с Hadoop, MapReduce,Hive, Spark, Kafka, Cassandra и будете выполнять задания на реальном кластере...
Вы научитесь работать с потоковой обработкой данных, познакомитесь с Kafka и Spark Structured Streaming, освоите NoSQL поверх больших данных, подружите Spark с Cassandra.
Подробнее о каждом модуле и полезных навыках, которые вы освоите в модуле, мы рассказали ниже.
В этом модуле вы изучите:
▶...
Машинное обучение с BigData Team. Практическийкурспо Machine Learning целиком
Вы научитесь строить модели машинного обучения, решать задачи регрессии и классификации, создавать ансамбли решающих деревьев, а аббревиатуры RF, GBDT, XGBoost и LightGBM станут родными и понятными.
Вы...
Промышленная разработка на Python с BigData Team.
Часть1. Лучшие практики написания и тестирования консольных приложений
Вы познакомитесь с типами тестирования, научитесь пользоваться библиотекой pytest, создавать консольные приложения с argparse, отличать юникод от кодировки и правильно с...
Промышленная разработка на Python с BigData Team.
Часть 3. Лучшие практики написания и поддержки Web-приложений
Вы познакомитесь с самыми используемыми паттернами проектирования, напишете собственный Web-сервис и научитесь его деплоить и тестировать.
3.1 Паттерны проектирования
3.2...
Промышленная разработка на Python с BigData Team.
Часть 2. Автоматизация работы с Web и тестирование сложных зависимостей
Вы научитесь настраивать логирование, работать с имитацией поведения внешних ресурсов, использовать Web-технологии для автоматического парсинга интернет-страниц.
2.1...
Oсвойте основные операции с файловой системой HDFS.
Какие перспективы открывают навыки работы с HDFS:
1. На интенсиве вы узнаете о среде для работы с большими данными - Apache Hadoop, а также научитесь работать с основополагающим компонентом фреймворка Apache Hadoop: HDFS.
2. Hadoop Distributed...
Машинное обучение с BigData Team. Классическое машинное обучение
Вы научитесь строить модели машинного обучения, решать задачи регрессии и классификации, создавать ансамбли решающих деревьев, а аббревиатуры RF, GBDT, XGBoost и LightGBM станут родными и понятными.
Для кого этот курс
Разработчики
Освоите лучшие практики разработки ПО, научитесь писать поддерживаемый код, прокачаете знания Python. Подойдет Junior и Middle разработчикам.
Аналитики
Научитесь писать код, который позволяет воспроизводить результаты исследований и эффективно проверять гипотезы...
Машинное обучение с BigData Team. Нейронные сети и Deep learning
Вы познакомитесь с нейронными сетям (Deep learning) и Unsupervised learning, а также познакомитесь с большими данными. На протяжении этой части курса вы будете работать над итоговым проектом при поддержке наставников. Вы сможете...
На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.
В этом модуле вы изучите:
cхема выполнения задачи в Spark;
основные термины Spark (job, task, stage);
представление вычислений в виде графа. Spark Python...
Программа "Профессия Data Engineer":
1 курс "Старт в Data Engineering"
- Автоматизируете процессы сбора, очистки и анализа реальных данных без разработчиков (ETL)
- Освоите инструменты: Git, SQL, базовый Python
- Научитесь работать с хранилищами данных (DWH)
2 курс "Python: основы языка"
-...
О книге:
Большие данные — ключевой элемент современного информационного пространства. Практически все, что делает отдельный человек, группы людей, человечество в целом, компании из разных сфер бизнеса, правительства, происходит в рамках глобального информационного поля. Наша работа, наш досуг...
Научитесь строить пайплайны данных в реальном времени
В современных компаниях накапливается большой объем данных, из которых можно извлекать важную аналитику, строить гипотезы или прогнозные модели.
Data Engineer — это специалист, который собирает данные из разных источников, очищает их и...
В ходе программы предусмотрен сбор профессионального портфолио. Вы не только набьете руку на новых проектах, но и сможете еще более качественно представить собственную кандидатуру на рынке труда.
Старт: май 2023 | Формат: онлайн вебинары с преподавателем | Длительность обучения: 10 месяцев 8...
Big data - инструменты, подходы и методы обработки огромных объёмов данных. По сути это альтернатива традиционным системам обработки данных. Если вам требуется общее расширение кругозора в теме технологий работы с данными и необходимость апгрейда на текущем месте работы, курс даст возможность...
Как стать специалистом по data science плюс
Расширенная программа для тех, кто хочет построить карьеру в сфере data science
Цена: 16 000р. / мес.
Продолжительность - 16 месяцев (16 частей)
Содержание:
Начало анализа данных
Основы машинного обучения
Вспомогательные инструменты Data Science...
Пруденс Калабрезе - директор компании TransDimensional Systems, которая предоставляет информационные услуги правительству, корпорациям и частным лицам, используя широкий спектр методов, включая дистанционное видение, кносоматику, интуитивное консультирование, трансфер технологий, картографию...