Получи бесплатно второй диплом (о профессиональной переподготовке) в сфере информационных технологий. Уникальное предложение для студентов московской площадки и филиалов НИЯУ МИФИ
Технологии обработки Больших Данных
Дополнительная профессиональная программа профессиональной переподготовки Цифровой кафедры НИЯУ МИФИ.
Программа федерального проекта «Развитие кадрового потенциала ИТ-отрасли» национальной программы «Цифровая экономика Российской Федерации»
Технологии обработки Больших Данных
О программе
В рамках данного курса мы научим тебя разработке систем обработки больших данных на основе свободного программного обеспечения, построению веб-ориентированных программных интерфейсов, разработке эффективных структур данных для представления информации посредством реляционных и нереляционных систем хранения данных, концептуальному проектированию и созданию архитектур систем обработки больших объемов данных и программных интерфейсов интеграции.
Также ты получишь знания об основах архитектуры современных систем распределенной обработки больших данных, таких как Hadoop, Spark, Kafka, основах безопасной разработки систем обработки больших данных и интерфейсов доступа к результатам агрегации на языке Java.
Также ты получишь знания об основах архитектуры современных систем распределенной обработки больших данных, таких как Hadoop, Spark, Kafka, основах безопасной разработки систем обработки больших данных и интерфейсов доступа к результатам агрегации на языке Java.
Интро руководителя программы
Ровнягин Михаил Михайлович
Доцент Института интеллектуальных кибернетических систем НИЯУ МИФИ, к.т.н.
Требования для поступления
Желание стать высоковостребованным IT-специалистом
Нужно быть студентом московской площадки или филиала НИЯУ МИФИ и иметь не более 2 задолженностей по основной программе
Обучение могут проходить студенты бакалавриата
от 2-го курса, специалитета от 3-го курса и магистратуры* на 1 сентября 2023 года
от 2-го курса, специалитета от 3-го курса и магистратуры* на 1 сентября 2023 года
Наведите на карточку
Требования для поступления
Желание стать высоковостребованным IT-специалистом
Нужно быть студентом московской площадки или филиала НИЯУ МИФИ и иметь не более 2 задолженностей по основной программе
Обучение могут проходить студенты бакалавриата от 2-го курса, специалитета от 3-го курса и магистратуры* на 1 сентября 2023 года
Преимущества
Бесплатно
Возможность получения дополнительного образования в сфере информационных технологий
Онлайн
Синхронные вечерние занятия с использованием технологий дистанционного обучения
Профессия
Возможность выбрать для себя востребованную профессию на рынке ИТ-сферы
Второй диплом
Выпуститься из университета* и получить +1 диплом - изи
* выпускники Цифровой кафедры получат привилегии при поступлении в магистратуру и аспирантуру НИЯУ МИФИ
овладеешь разработкой систем на фреймворках Hadoop, Spark, Ignite
овладеешь средствами поставки данных: Kafka, Sqoop, Flume
овладеешь средствами контейнеризации приложений (Docker, Kubernetes)
На нашей программе ты
Технологии, которые ты изучишь
Hadoop, Spark, Ignite, Docker, Kubernetes, Kafka, Sqoop, Flume
Востребованность на рынке
зарплата для junior
65к-135к
зарплата для middle
145к-250к
зарплата для senior
250к+
1 235
вакансий Data engineer
hh.ru на июль 2023 г.
Специалисты направления востребованы в различных отраслях
➤ IT (Яндекс, Mail и др.)
➤ Провайдеры (Мегафон, Теле2 и др.)
➤ Маркетплейсы (Wildberries, Ozon и др.)
➤ Банки (Сбер, Тинькофф и др.)
Содержание программы
Основы разработки высокопроизводительных приложений на Java
1. Основы языка Java и подготовка среды разработки
Понятия JDK, javac, Maven, Gradle, IDE, Spring. Настройка окружения для разработки, установка среды разработки, подготовка репозитория git и форк репозитория с базовым шаблоном сервиса для дальнейших блоков.
2. Системы версионирования кода
Способы обеспечения одновременной разработки проекта несколькими людьми. Системы контроля версий. Git, SVN. Отличия. Типовые операции.
3. Системы сборки и версионирования программных пакетов
Проблема управления версиями программных модулей и публикации артефактов. Системы сборки Maven и Gradle. Репозиторий артефактов программного кода.
4. Изучения работы фреймворка Spring
Какой жизненный цикл у бина и у приложения, какие есть встроенные механизмы у Spring для работы с часто встречающимися задачами.
5. Работа с presistance слоем
Сохранение данных в БД PostgreSql, проверка данных, работа с ORM Hibernate, транзакции и часть модуля Spring-Data. Тестирование репозиториев.
6. Разработка HTTP API сервиса
Работа с http запросами, обсуждение многослойной архитектуры с разделением по слоям ответственности, обработка ошибок, тестирование контроллеров.
Понятия JDK, javac, Maven, Gradle, IDE, Spring. Настройка окружения для разработки, установка среды разработки, подготовка репозитория git и форк репозитория с базовым шаблоном сервиса для дальнейших блоков.
2. Системы версионирования кода
Способы обеспечения одновременной разработки проекта несколькими людьми. Системы контроля версий. Git, SVN. Отличия. Типовые операции.
3. Системы сборки и версионирования программных пакетов
Проблема управления версиями программных модулей и публикации артефактов. Системы сборки Maven и Gradle. Репозиторий артефактов программного кода.
4. Изучения работы фреймворка Spring
Какой жизненный цикл у бина и у приложения, какие есть встроенные механизмы у Spring для работы с часто встречающимися задачами.
5. Работа с presistance слоем
Сохранение данных в БД PostgreSql, проверка данных, работа с ORM Hibernate, транзакции и часть модуля Spring-Data. Тестирование репозиториев.
6. Разработка HTTP API сервиса
Работа с http запросами, обсуждение многослойной архитектуры с разделением по слоям ответственности, обработка ошибок, тестирование контроллеров.
Классические BigData-системы на основе технологий Hadoop и Spark
1. Общие вопросы организации BigData-систем. Проблемы организации BigData-систем
Определение понятия Большие Данные. Специфика проектирования и создания систем работы с большими данными.
2. Классификация характера задач для выбора подходящей реализации. Методы декомпозиции BigData-задач
Виды задач, решаемых BigData-системами. Зависимость способа решения задачи от ее разновидности. Составные части BigData-систем.
3. Основные метриками для оценки производительности BigData-систем
Виды задач, решаемых BigData-системами. Зависимость способа решения задачи от ее разновидности. Составные части BigData-систем.
4. Знакомство с Hadoop-стеком
Появление и развитие технологии Hadoop. Спектр решаемых задач. Примеры использования в крупных копаниях. Составные части Hadoop-кластера. Экосистема Hadoop-проектов.
5. Парадигма MapReduce
Распределенное выполнение программ. Операции отображения и свертки. Примеры. Возможность переопределять части MapReduce программы в каркасе Hadoop.
6. Разработка MapReduce программ на Java
Особенности реализации функций отображения и свертки в Java. Работа с консолью Hadoop-кластера. Спецификация параметров запуска MapReduce Java-приложения.
7. Интерфейсы программного каркаса Hadoop для различных языков программирования
Возможности Hadoop Streaming API. Примеры реализации MapReduce-программ на языке python и запуска из консоли bash. Текущий контроль.
8. Программный каркас Apache Spark
Состав и назначение Spark-кластера. Спектр решаемых задач. Примеры работы с источниками данных. План выполнения вычислений. Работа с основной и внешней памятью. Использование программного интерфейса Spark RDD.
9. Технология построения аналитических платформ на Apache Spark SQL
Предпосылки появления программного интерфейса Spark SQL. Умные источники данных для Spark.
Определение понятия Большие Данные. Специфика проектирования и создания систем работы с большими данными.
2. Классификация характера задач для выбора подходящей реализации. Методы декомпозиции BigData-задач
Виды задач, решаемых BigData-системами. Зависимость способа решения задачи от ее разновидности. Составные части BigData-систем.
3. Основные метриками для оценки производительности BigData-систем
Виды задач, решаемых BigData-системами. Зависимость способа решения задачи от ее разновидности. Составные части BigData-систем.
4. Знакомство с Hadoop-стеком
Появление и развитие технологии Hadoop. Спектр решаемых задач. Примеры использования в крупных копаниях. Составные части Hadoop-кластера. Экосистема Hadoop-проектов.
5. Парадигма MapReduce
Распределенное выполнение программ. Операции отображения и свертки. Примеры. Возможность переопределять части MapReduce программы в каркасе Hadoop.
6. Разработка MapReduce программ на Java
Особенности реализации функций отображения и свертки в Java. Работа с консолью Hadoop-кластера. Спецификация параметров запуска MapReduce Java-приложения.
7. Интерфейсы программного каркаса Hadoop для различных языков программирования
Возможности Hadoop Streaming API. Примеры реализации MapReduce-программ на языке python и запуска из консоли bash. Текущий контроль.
8. Программный каркас Apache Spark
Состав и назначение Spark-кластера. Спектр решаемых задач. Примеры работы с источниками данных. План выполнения вычислений. Работа с основной и внешней памятью. Использование программного интерфейса Spark RDD.
9. Технология построения аналитических платформ на Apache Spark SQL
Предпосылки появления программного интерфейса Spark SQL. Умные источники данных для Spark.
Технологии поставки и хранения данных в BigData-системах
1. Импорт данных при помощи Sqoope
Проблема импорта данных в системы пакетной обработки. Импорт данных в HDFS при помощи Sqoop. Настройка количества операций отображения. Передача пароля через командную строку.
2. Технология брокера сообщений
Архитектура событийно-ориентированных BigData-систем. Задача брокера сообщений. Типовые архитектуры систем передачи сообщений. Достоинства и недостатки. Семантики доставки (точно один раз, как минимум один раз, максимум один раз).
3. Брокер сообщений Apache Kafka
Архитектура. Производители, потребители, брокеры. Вопросы масштабирования. Принципы организации долговременного хранения сообщений. Настройка дедупликации сообщений.
4. Поточная доставка данных при помощи Flume
Архитектура Flume. Агент, канал передачи, селектор, слив. Варианты конфигурирования. Примеры и упражнения.
5. Обработка потока данных при помощи Apache Spark Streaming
Принцип микропакетной обработки. Плавающее окно. Спектр решаемых задач. Работа с программным интерфейсом DStream.
6. Проблема масштабирования хранения данных. Работа с классическими СУБД
Определение Базы Данных и Системы Управления Базами Данных. Организация хранения информации в классических СУБД на примере PostgreSQL. Вопросы обеспечения целостности данных. Требования ACID.
7. Распределенные файловые системы
Подходы к хранению данных. Специфика хранения файлов. Архитектура популярных распределенных файловых систем на примере HDFS, NFS v4.1, Lustre. Использование распределенных файловых систем в задачах обработки больших объемов данных.
8. Архитектура NoSQL-систем
Специфика хранения данных по записям. Проблематика обеспечения согласованности данных. Теорема CAP. Архитектура NoSQL (not only SQL) на примере Apache Cassandra и их отличие от классических СУБД.
9. Технология построения аналитических платформ на Apache Hive
Состав и назначение кластера Hive. Связь с технологией Hadoop. Синтаксис запросов HiveQL. Возможность создания пользовательских функций.
10. Кеширование данных. Проектирование кешей
Понятие и назначение кеша данных. Ограничения. Стратегии замещения данных в кеш, стратегии предвыборки. Популярные системы кеширования для BigData-задач.
11. Платформа вычислений в памяти Apache Ignite
Технологии вычислений в памяти и хранения данных в памяти. Кластер Ignite. Возможности Ignite для организации кеширования, вычислений, передачи сообщений и машинного обучения на основе больших данных.
Проблема импорта данных в системы пакетной обработки. Импорт данных в HDFS при помощи Sqoop. Настройка количества операций отображения. Передача пароля через командную строку.
2. Технология брокера сообщений
Архитектура событийно-ориентированных BigData-систем. Задача брокера сообщений. Типовые архитектуры систем передачи сообщений. Достоинства и недостатки. Семантики доставки (точно один раз, как минимум один раз, максимум один раз).
3. Брокер сообщений Apache Kafka
Архитектура. Производители, потребители, брокеры. Вопросы масштабирования. Принципы организации долговременного хранения сообщений. Настройка дедупликации сообщений.
4. Поточная доставка данных при помощи Flume
Архитектура Flume. Агент, канал передачи, селектор, слив. Варианты конфигурирования. Примеры и упражнения.
5. Обработка потока данных при помощи Apache Spark Streaming
Принцип микропакетной обработки. Плавающее окно. Спектр решаемых задач. Работа с программным интерфейсом DStream.
6. Проблема масштабирования хранения данных. Работа с классическими СУБД
Определение Базы Данных и Системы Управления Базами Данных. Организация хранения информации в классических СУБД на примере PostgreSQL. Вопросы обеспечения целостности данных. Требования ACID.
7. Распределенные файловые системы
Подходы к хранению данных. Специфика хранения файлов. Архитектура популярных распределенных файловых систем на примере HDFS, NFS v4.1, Lustre. Использование распределенных файловых систем в задачах обработки больших объемов данных.
8. Архитектура NoSQL-систем
Специфика хранения данных по записям. Проблематика обеспечения согласованности данных. Теорема CAP. Архитектура NoSQL (not only SQL) на примере Apache Cassandra и их отличие от классических СУБД.
9. Технология построения аналитических платформ на Apache Hive
Состав и назначение кластера Hive. Связь с технологией Hadoop. Синтаксис запросов HiveQL. Возможность создания пользовательских функций.
10. Кеширование данных. Проектирование кешей
Понятие и назначение кеша данных. Ограничения. Стратегии замещения данных в кеш, стратегии предвыборки. Популярные системы кеширования для BigData-задач.
11. Платформа вычислений в памяти Apache Ignite
Технологии вычислений в памяти и хранения данных в памяти. Кластер Ignite. Возможности Ignite для организации кеширования, вычислений, передачи сообщений и машинного обучения на основе больших данных.
Контейнеризация и развертывание высокопроизводительных приложений
1. Системы развертывания BigData-приложений
Специфика развертывания распределенных высокопроизводительных приложений. Введение в облачные сервисы (IaaS, PaaS, SaaS). Философия DevOps, непрерывная интеграция и доставка кода.
2. Технология контейнеризации приложений
Технология Docker. Разграничение пространств процессов в операционной системе при помощи cgroups. Состав технологии: файлы докер, реестр образов, контейнеры, демон Docker. Слои доступа к файлам.
3. Docker Swarm – технология масштабирования приложений в кластере
Кластер Docker-хостов. Создание кластера. Масштабирование контейнеров. Маршрутизация входящих соединений. Конфигурирование развертывания в yml-файлах.
4. Архитектура системы оркестрации контейнеров Kubernetes
Оркестрация сервисов масштабных приложений. Проблемы и вызовы. Состав кластера Kubernetes. Основные элементы развертывания (Pod, Service, Route).
5. Динамические Service Mesh на примере Istio
Создание динамических сетей маршрутизации данных между сервисами. Отделение слоя доставки данных и авторизации от бизнес-логики.
Специфика развертывания распределенных высокопроизводительных приложений. Введение в облачные сервисы (IaaS, PaaS, SaaS). Философия DevOps, непрерывная интеграция и доставка кода.
2. Технология контейнеризации приложений
Технология Docker. Разграничение пространств процессов в операционной системе при помощи cgroups. Состав технологии: файлы докер, реестр образов, контейнеры, демон Docker. Слои доступа к файлам.
3. Docker Swarm – технология масштабирования приложений в кластере
Кластер Docker-хостов. Создание кластера. Масштабирование контейнеров. Маршрутизация входящих соединений. Конфигурирование развертывания в yml-файлах.
4. Архитектура системы оркестрации контейнеров Kubernetes
Оркестрация сервисов масштабных приложений. Проблемы и вызовы. Состав кластера Kubernetes. Основные элементы развертывания (Pod, Service, Route).
5. Динамические Service Mesh на примере Istio
Создание динамических сетей маршрутизации данных между сервисами. Отделение слоя доставки данных и авторизации от бизнес-логики.
Практика, подготовка к защите и защита итогового проекта
Практика, подготовка к защите и защита итогового проекта. В рамках модуля обучающиеся проходят практику на базе индустриального партнера, развивая навыки, полученные в предыдущих модулях, готовят и представляют к защите итоговый проект.
Основы разработки высокопроизводительных приложений на Java
1. Основы языка Java и подготовка среды разработки
Понятия JDK, javac, Maven, Gradle, IDE, Spring. Настройка окружения для разработки, установка среды разработки, подготовка репозитория git и форк репозитория с базовым шаблоном сервиса для дальнейших блоков.
2. Системы версионирования кода
Способы обеспечения одновременной разработки проекта несколькими людьми. Системы контроля версий. Git, SVN. Отличия. Типовые операции.
3. Системы сборки и версионирования программных пакетов
Проблема управления версиями программных модулей и публикации артефактов. Системы сборки Maven и Gradle. Репозиторий артефактов программного кода.
4. Изучения работы фреймворка Spring
Какой жизненный цикл у бина и у приложения, какие есть встроенные механизмы у Spring для работы с часто встречающимися задачами.
5. Работа с presistance слоем
Сохранение данных в БД PostgreSql, проверка данных, работа с ORM Hibernate, транзакции и часть модуля Spring-Data. Тестирование репозиториев.
6. Разработка HTTP API сервиса
Работа с http запросами, обсуждение многослойной архитектуры с разделением по слоям ответственности, обработка ошибок, тестирование контроллеров.
Понятия JDK, javac, Maven, Gradle, IDE, Spring. Настройка окружения для разработки, установка среды разработки, подготовка репозитория git и форк репозитория с базовым шаблоном сервиса для дальнейших блоков.
2. Системы версионирования кода
Способы обеспечения одновременной разработки проекта несколькими людьми. Системы контроля версий. Git, SVN. Отличия. Типовые операции.
3. Системы сборки и версионирования программных пакетов
Проблема управления версиями программных модулей и публикации артефактов. Системы сборки Maven и Gradle. Репозиторий артефактов программного кода.
4. Изучения работы фреймворка Spring
Какой жизненный цикл у бина и у приложения, какие есть встроенные механизмы у Spring для работы с часто встречающимися задачами.
5. Работа с presistance слоем
Сохранение данных в БД PostgreSql, проверка данных, работа с ORM Hibernate, транзакции и часть модуля Spring-Data. Тестирование репозиториев.
6. Разработка HTTP API сервиса
Работа с http запросами, обсуждение многослойной архитектуры с разделением по слоям ответственности, обработка ошибок, тестирование контроллеров.
Классические BigData-системы на основе технологий Hadoop и Spark
1. Общие вопросы организации BigData-систем. Проблемы организации BigData-систем
Определение понятия Большие Данные. Специфика проектирования и создания систем работы с большими данными.
2. Классификация характера задач для выбора подходящей реализации. Методы декомпозиции BigData-задач
Виды задач, решаемых BigData-системами. Зависимость способа решения задачи от ее разновидности. Составные части BigData-систем.
3. Основные метриками для оценки производительности BigData-систем
Виды задач, решаемых BigData-системами. Зависимость способа решения задачи от ее разновидности. Составные части BigData-систем.
4. Знакомство с Hadoop-стеком
Появление и развитие технологии Hadoop. Спектр решаемых задач. Примеры использования в крупных копаниях. Составные части Hadoop-кластера. Экосистема Hadoop-проектов.
5. Парадигма MapReduce
Распределенное выполнение программ. Операции отображения и свертки. Примеры. Возможность переопределять части MapReduce программы в каркасе Hadoop.
6. Разработка MapReduce программ на Java
Особенности реализации функций отображения и свертки в Java. Работа с консолью Hadoop-кластера. Спецификация параметров запуска MapReduce Java-приложения.
7. Интерфейсы программного каркаса Hadoop для различных языков программирования
Возможности Hadoop Streaming API. Примеры реализации MapReduce-программ на языке python и запуска из консоли bash. Текущий контроль.
8. Программный каркас Apache Spark
Состав и назначение Spark-кластера. Спектр решаемых задач. Примеры работы с источниками данных. План выполнения вычислений. Работа с основной и внешней памятью. Использование программного интерфейса Spark RDD.
9. Технология построения аналитических платформ на Apache Spark SQL
Предпосылки появления программного интерфейса Spark SQL. Умные источники данных для Spark.
Определение понятия Большие Данные. Специфика проектирования и создания систем работы с большими данными.
2. Классификация характера задач для выбора подходящей реализации. Методы декомпозиции BigData-задач
Виды задач, решаемых BigData-системами. Зависимость способа решения задачи от ее разновидности. Составные части BigData-систем.
3. Основные метриками для оценки производительности BigData-систем
Виды задач, решаемых BigData-системами. Зависимость способа решения задачи от ее разновидности. Составные части BigData-систем.
4. Знакомство с Hadoop-стеком
Появление и развитие технологии Hadoop. Спектр решаемых задач. Примеры использования в крупных копаниях. Составные части Hadoop-кластера. Экосистема Hadoop-проектов.
5. Парадигма MapReduce
Распределенное выполнение программ. Операции отображения и свертки. Примеры. Возможность переопределять части MapReduce программы в каркасе Hadoop.
6. Разработка MapReduce программ на Java
Особенности реализации функций отображения и свертки в Java. Работа с консолью Hadoop-кластера. Спецификация параметров запуска MapReduce Java-приложения.
7. Интерфейсы программного каркаса Hadoop для различных языков программирования
Возможности Hadoop Streaming API. Примеры реализации MapReduce-программ на языке python и запуска из консоли bash. Текущий контроль.
8. Программный каркас Apache Spark
Состав и назначение Spark-кластера. Спектр решаемых задач. Примеры работы с источниками данных. План выполнения вычислений. Работа с основной и внешней памятью. Использование программного интерфейса Spark RDD.
9. Технология построения аналитических платформ на Apache Spark SQL
Предпосылки появления программного интерфейса Spark SQL. Умные источники данных для Spark.
Технологии поставки и хранения данных в BigData-системах
1. Импорт данных при помощи Sqoope
Проблема импорта данных в системы пакетной обработки. Импорт данных в HDFS при помощи Sqoop. Настройка количества операций отображения. Передача пароля через командную строку.
2. Технология брокера сообщений
Архитектура событийно-ориентированных BigData-систем. Задача брокера сообщений. Типовые архитектуры систем передачи сообщений. Достоинства и недостатки. Семантики доставки (точно один раз, как минимум один раз, максимум один раз).
3. Брокер сообщений Apache Kafka
Архитектура. Производители, потребители, брокеры. Вопросы масштабирования. Принципы организации долговременного хранения сообщений. Настройка дедупликации сообщений.
4. Поточная доставка данных при помощи Flume
Архитектура Flume. Агент, канал передачи, селектор, слив. Варианты конфигурирования. Примеры и упражнения.
5. Обработка потока данных при помощи Apache Spark Streaming
Принцип микропакетной обработки. Плавающее окно. Спектр решаемых задач. Работа с программным интерфейсом DStream.
6. Проблема масштабирования хранения данных. Работа с классическими СУБД
Определение Базы Данных и Системы Управления Базами Данных. Организация хранения информации в классических СУБД на примере PostgreSQL. Вопросы обеспечения целостности данных. Требования ACID.
7. Распределенные файловые системы
Подходы к хранению данных. Специфика хранения файлов. Архитектура популярных распределенных файловых систем на примере HDFS, NFS v4.1, Lustre. Использование распределенных файловых систем в задачах обработки больших объемов данных.
8. Архитектура NoSQL-систем
Специфика хранения данных по записям. Проблематика обеспечения согласованности данных. Теорема CAP. Архитектура NoSQL (not only SQL) на примере Apache Cassandra и их отличие от классических СУБД.
9. Технология построения аналитических платформ на Apache Hive
Состав и назначение кластера Hive. Связь с технологией Hadoop. Синтаксис запросов HiveQL. Возможность создания пользовательских функций.
10. Кеширование данных. Проектирование кешей
Понятие и назначение кеша данных. Ограничения. Стратегии замещения данных в кеш, стратегии предвыборки. Популярные системы кеширования для BigData-задач.
11. Платформа вычислений в памяти Apache Ignite
Технологии вычислений в памяти и хранения данных в памяти. Кластер Ignite. Возможности Ignite для организации кеширования, вычислений, передачи сообщений и машинного обучения на основе больших данных.
Проблема импорта данных в системы пакетной обработки. Импорт данных в HDFS при помощи Sqoop. Настройка количества операций отображения. Передача пароля через командную строку.
2. Технология брокера сообщений
Архитектура событийно-ориентированных BigData-систем. Задача брокера сообщений. Типовые архитектуры систем передачи сообщений. Достоинства и недостатки. Семантики доставки (точно один раз, как минимум один раз, максимум один раз).
3. Брокер сообщений Apache Kafka
Архитектура. Производители, потребители, брокеры. Вопросы масштабирования. Принципы организации долговременного хранения сообщений. Настройка дедупликации сообщений.
4. Поточная доставка данных при помощи Flume
Архитектура Flume. Агент, канал передачи, селектор, слив. Варианты конфигурирования. Примеры и упражнения.
5. Обработка потока данных при помощи Apache Spark Streaming
Принцип микропакетной обработки. Плавающее окно. Спектр решаемых задач. Работа с программным интерфейсом DStream.
6. Проблема масштабирования хранения данных. Работа с классическими СУБД
Определение Базы Данных и Системы Управления Базами Данных. Организация хранения информации в классических СУБД на примере PostgreSQL. Вопросы обеспечения целостности данных. Требования ACID.
7. Распределенные файловые системы
Подходы к хранению данных. Специфика хранения файлов. Архитектура популярных распределенных файловых систем на примере HDFS, NFS v4.1, Lustre. Использование распределенных файловых систем в задачах обработки больших объемов данных.
8. Архитектура NoSQL-систем
Специфика хранения данных по записям. Проблематика обеспечения согласованности данных. Теорема CAP. Архитектура NoSQL (not only SQL) на примере Apache Cassandra и их отличие от классических СУБД.
9. Технология построения аналитических платформ на Apache Hive
Состав и назначение кластера Hive. Связь с технологией Hadoop. Синтаксис запросов HiveQL. Возможность создания пользовательских функций.
10. Кеширование данных. Проектирование кешей
Понятие и назначение кеша данных. Ограничения. Стратегии замещения данных в кеш, стратегии предвыборки. Популярные системы кеширования для BigData-задач.
11. Платформа вычислений в памяти Apache Ignite
Технологии вычислений в памяти и хранения данных в памяти. Кластер Ignite. Возможности Ignite для организации кеширования, вычислений, передачи сообщений и машинного обучения на основе больших данных.
Контейнеризация и развертывание высокопроизводительных приложений
1. Системы развертывания BigData-приложений
Специфика развертывания распределенных высокопроизводительных приложений. Введение в облачные сервисы (IaaS, PaaS, SaaS). Философия DevOps, непрерывная интеграция и доставка кода.
2. Технология контейнеризации приложений
Технология Docker. Разграничение пространств процессов в операционной системе при помощи cgroups. Состав технологии: файлы докер, реестр образов, контейнеры, демон Docker. Слои доступа к файлам.
3. Docker Swarm – технология масштабирования приложений в кластере
Кластер Docker-хостов. Создание кластера. Масштабирование контейнеров. Маршрутизация входящих соединений. Конфигурирование развертывания в yml-файлах.
4. Архитектура системы оркестрации контейнеров Kubernetes
Оркестрация сервисов масштабных приложений. Проблемы и вызовы. Состав кластера Kubernetes. Основные элементы развертывания (Pod, Service, Route).
5. Динамические Service Mesh на примере Istio
Создание динамических сетей маршрутизации данных между сервисами. Отделение слоя доставки данных и авторизации от бизнес-логики.
Специфика развертывания распределенных высокопроизводительных приложений. Введение в облачные сервисы (IaaS, PaaS, SaaS). Философия DevOps, непрерывная интеграция и доставка кода.
2. Технология контейнеризации приложений
Технология Docker. Разграничение пространств процессов в операционной системе при помощи cgroups. Состав технологии: файлы докер, реестр образов, контейнеры, демон Docker. Слои доступа к файлам.
3. Docker Swarm – технология масштабирования приложений в кластере
Кластер Docker-хостов. Создание кластера. Масштабирование контейнеров. Маршрутизация входящих соединений. Конфигурирование развертывания в yml-файлах.
4. Архитектура системы оркестрации контейнеров Kubernetes
Оркестрация сервисов масштабных приложений. Проблемы и вызовы. Состав кластера Kubernetes. Основные элементы развертывания (Pod, Service, Route).
5. Динамические Service Mesh на примере Istio
Создание динамических сетей маршрутизации данных между сервисами. Отделение слоя доставки данных и авторизации от бизнес-логики.
Практика, подготовка к защите и защита итогового проекта
Практика, подготовка к защите и защита итогового проекта. В рамках модуля обучающиеся проходят практику на базе индустриального партнера, развивая навыки, полученные в предыдущих модулях, готовят и представляют к защите итоговый проект.
Таймлайн
до 30 ноября
Подача заявок
Выбери программу и подай заявку на обучение на платформе education.mephi.ru. Чтобы записаться на курс, нужно авторизоваться на платформе со своей учётной записью студента НИЯУ МИФИ или зарегистрироваться. После входа выбери курс, на котором хочешь обучаться и подай на него подписанное заявление на зачисление.
Обучение возможно только на ОДНОМ КУРСЕ
Обучение возможно только на ОДНОМ КУРСЕ
30 ноября
Входное тестирование
В самом начале проходит первичная оценка знаний и навыков студентов — в рамках всего обучения проводится независимая оценка качества образовательных программ. Для этого и проводятся подобные тесты.
до 4 декабря
Зачисление
На твою электронную почту придёт подтверждение о зачислении на курс. Убедись, что в твоём профиле платформы указан актуальный адрес электронной почты.
декабрь 2023 - август 2024
Обучение
Весь процесс обучения занимает около 12 месяцев — ты будешь смотреть видеолекции, вебинары, выполнять задания и проходить промежуточные тестирования. Важно придерживаться графика курса, тогда равномерно распределённая нагрузка займёт около 2-6 часов в неделю.
️️Обучение на Цифровой кафедре легко совмещать с основным образованием — ты сам выстраиваешь удобный для себя график обучения.
️️Обучение на Цифровой кафедре легко совмещать с основным образованием — ты сам выстраиваешь удобный для себя график обучения.
до 30 августа 2024
Выходное тестирование и Демонстрационный экзамен
По итогам обучения на курсе каждый студент показывает свой уровень знаний и навыков на дэмоэкзамене . В конце курса проводится итоговое тестирование — мы проверяем, насколько хорошо нам удалось развить цифровые компетенции студентов.
до 30 сентября 2024
Получение диплома
Получи диплом НИЯУ МИФИ о профессиональной переподготовке в ИТ вместе с основным дипломом.
Обратите внимание: после авторизации на сайте education.mephi.ru необходимо записаться на программу в разделе "Каталог курсов"
Авторы курса
Ровнягин Михаил
Синельников Дмитрий
Архитектор и ключевой разработчик системы промышленного развертывания ML-моделей ПАО "Сбербанк" и АО "Райффайзенбанк", доцент, к.т.н. НИЯУ МИФИ, старший вице-президент АО "Райффайзенбанк". . Опыт работы с BigData-проектами с 2015г (NetCracker, EPAM, СберТех).
Ведущий инженер. Разработчик информационных систем с 2014 года. Опыт работы с высоконагруженными распределенными системами и Big Data с 2016 года. Ведущий разработчик NoSQL системы хранения больших данных HBase в Huawei Cloud R&D Center Moscow. Ассистент НИЯУ МИФИ
Остались вопросы по курсу?
Напиши нам в телеграм-бот — мы ответим на все интересующие тебя вопросы в течение рабочего дня
