Технологии обработки Больших Данных
Дополнительная профессиональная программа
профессиональной переподготовки
Цифровой кафедры НИЯУ МИФИ.
Бесплатно для студентов московской площадки и филиалов НИЯУ МИФИ

*Обучение могут проходить студенты бакалавриата (начиная со 2-го курса) и специалитета (начиная с 3-го курса) и магистратуры

О программе

В рамках данного курса мы научим вас разработке систем обработки больших данных на основе свободного программного обеспечения, построению веб-ориентированных программных интерфейсов, разработке эффективных структур данных для представления информации посредством реляционных и нереляционных систем хранения данных, концептуальному проектированию и созданию архитектур систем обработки больших объемов данных и программных интерфейсов интеграции.
Также Вы получите знания об основах архитектуры современных систем распределенной обработки больших данных, таких как Hadoop, Spark, Kafka, основах безопасной разработки систем обработки больших данных и интерфейсов доступа к результатам агрегации на языке Java.

Преимущества программы

  • Обучение проходит в комфортном темпе - легко совмещать с основной учебой.
  • Бесплатно для студентов* московской площадки и филиалов НИЯУ МИФИ.
  • Все слушатели, прошедшие обучение, получат диплом о профессиональной переподготовке НИЯУ МИФИ.
  • Все обучение проходит в дистанционном формате под руководством специалистов НИЯУ МИФИ.
  • *Обучение могут проходить студенты бакалавриата (начиная со 2-го курса) и специалитета (начиная с 3-го курса) и магистратуры
На нашей программе вы
  • овладеете разработкой систем на фреймворках Hadoop, Spark, Ignite
  • овладеете средствами поставки данных: Kafka, Sqoop, Flume
  • овладеете средствами контейнеризации приложений (Docker, Kubernetes)
  • освоите непараметрические методы машинного обучения
Авторы курса
  • Ровнягин Михаил Михайлович
    К.т.н., доцент НИЯУ МИФИ, старший вице-президент АО "Райффайзенбанк". Архитектор и ключевой разработчик системы промышленного развертывания ML-моделей ПАО "Сбербанк" и АО "Райффайзенбанк". Опыт работы с BigData-проектами с 2015г (NetCracker, EPAM, СберТех).
  • Варыханов Сергей Сергеевич
    К.т.н., ассистент кафедры НИЯУ МИФИ, инженер Исследовательского центра Института прикладной математики им. М.В. Келдыша РАН. С++/Java разработчик широкого профиля.
  • Синельников Дмитрий Михайлович
    Ассистент НИЯУ МИФИ, ведущий инженер ООО «Техкомпания Хуавэй». Разработчик информационных систем с 2014 года. Опыт работы с высоконагруженными распределенными системами и Big Data с 2016 года. Ведущий разработчик NoSQL системы хранения больших данных HBase в Huawei Cloud R&D Center Moscow.
Содержание программы
Программа реализуется в дистанционном формате
Основы разработки высокопроизводительных приложений на Java
1. Основы языка программирования Python.
Понятия JDK, javac, Maven, Gradle, IDE, Spring. Настройка окружения для разработки, установка среды разработки, подготовка репозитория git и форк репозитория с базовым шаблоном сервиса для дальнейших блоков.
2. Коллекции, функции и объектно-ориентированное программирование в Python.
Способы обеспечения одновременной разработки проекта несколькими людьми. Системы контроля версий. Git, SVN. Отличия. Типовые операции.
3. Научные вычисления в Python.
Проблема управления версиями программных модулей и публикации артефактов. Системы сборки Maven и Gradle. Репозиторий артефактов программного кода.
4. Изучения работы фреймворка Spring.
Какой жизненный цикл у бина и у приложения, какие есть встроенные механизмы у Spring для работы с часто встречающимися задачами.
5. Работа с presistance слоем.
Сохранение данных в БД PostgreSql, проверка данных, работа с ORM Hibernate, транзакции и часть модуля Spring-Data. Тестирование репозиториев.
6. Визуализация данных в Python.
Работа с http запросами, обсуждение многослойной архитектуры с разделением по слоям ответственности, обработка ошибок, тестирование контроллеров.
Регистрация скоро откроется!
По всем вопросам обращайтесь на электронную почту education@mephi.ru
Поделитесь с друзьями!
Связаться с нами:
E-mail: ismc@mephi.ru