Онлайн программа повышения квалификации

Технологии обработки Больших Данных

Бесплатно для научно-педагогических работников и аспирантов российских ВУЗов. Курс реализуется Международным научно-методическим центром НИЯУ МИФИ в рамках федерального проекта "Кадры для цифровой экономики" национальной программы "Цифровая экономика Российской Федерации".

О программе

В настоящий момент новостные, рекомендательные, поисковые системы, медиа сервисы являются неотъемлемой частью нашей жизни. В основе каждой подобной системы лежат механизмы хранения и обработки больших объемов данных. Большие Данные также являются базисом для создания перспективных интеллектуальных систем и неотъемлемым артефактом экспоненциального роста объема хранимой информации в мире. Данный курс познакомит Вас с основами современных технологий обработки Больших Данных: Hadoop, Spark, NoSQL, Kubernetes и другими.
Скачать программу

Преимущества программы

  • Обучение бесплатно для профессорско-преподавательского состава российских ВУЗов.
  • Все слушатели, прошедшие обучение, получат удостоверение о повышении квалификации НИЯУ МИФИ.
  • Все обучение проходит онлайн в формате четырех вебинаров от специалистов НИЯУ МИФИ.
Авторы курса
  • Михаил Ровнягин
    Кандидат технических наук.
    Доцент ИИКС НИЯУ МИФИ.
    Руководитель направления разработки Machine Learning систем ПАО Сбербанк.
  • Анна Гуминская
    Выпускник НИЯУ МИФИ.
    Team Lead команды разработки B2C-сервисов проекта "Личный кабинет" ПАО МегаФон.

Программа курса

Программа будет реализована в формате четырёх вебинаров с 30 мая по 11 июня.
Объем программы: 16 ак. часов.
30 мая 2020
10:00
30 мая 2020
10:00
Вебинар №1.
Определение понятия Большие Данные. Составные части BigData-систем. Проблема оценки качества BigData-систем. Функциональные и нефункциональные требования. Понятия времени отклика и пропускной способности. Виды обработки: синхронная и асинхронная, пакетная и поточная.
Системы контроля версий. Git, SVN. Отличия. Типовые операции. Системы сборки Maven и Gradle. Введение в облачные сервисы (IaaS, PaaS, SaaS). Философия DevOps, непрерывная интеграция и доставка кода.
4 июня 2020
10:00
4 июня 2020
10:00
Вебинар №2.
Появление и развитие технологии Hadoop. Составные части Hadoop-кластера. Экосистема Hadoop-проектов. Операции отображения и свертки.
Определение Базы Данных и Системы Управления Базами Данных.
Требования ACID. Архитектура популярных распределенных файловых систем на примере HDFS, NFS v4.1, Lustre. Проблематика обеспечения согласованности данных. Теорема CAP. Архитектура NoSQL (not only SQL) на примере Apache Cassandra и их отличие от классических СУБД.
Контроль знаний в форме теста с вариантами ответов.
6 июня 2020
10:00
6 июня 2020
10:00
Вебинар №3.
Состав и назначение Spark-кластера. Спектр решаемых задач. Использование программного интерфейса Spark RDD. Предпосылки появления программного интерфейса Spark SQL. Apache Spark Streaming. Принцип микропакетной обработки.
Состав и назначение кластера Hive. Связь с технологией Hadoop. Синтаксис запросов HiveQL. Проблема импорта данных в системы пакетной обработки. Импорт данных в HDFS при помощи Sqoop. Архитектура событийно-ориентированных BigData-систем. Брокер сообщений Apache Kafka. Архитектура Flume.
10 июня 2020
9:00
10 июня 2020
9:00
Вебинар №4.
Технология Docker. Состав технологии: файлы докер, реестр образов, контейнеры, демон Docker. Кластер Docker-хостов. Оркестрация сервисов масштабных приложений. Состав кластера Kubernetes. Основные элементы развертывания (Pod, Service, Route).
Понятие и назначение кеша данных. Ограничения. Стратегии замещения данных в кеш, стратегии предвыборки. Кластер Ignite.
Контроль знаний в форме теста с вариантами ответов. Заключительное слово.
Коллеги, регистрация на курс закрыта. Если у вас остались вопросы, свяжитесь с нами!
Поделитесь с коллегами!
Расскажите коллегам об этом курсе!
Свяжитесь с нами по любым вопросом с помощью телефона или почты, мы всегда рады общению и сотрудничеству
Телефон: +7 (495) 788 56 99, доб. 8387
E-mail: ismc@mephi.ru