1. Основы языка программирования Python
Особенности языка Python, области применения Python, философия Python ("The Zen of Python"), среда исполнения Python, начало работы с Python, физические строки, логические строки и блоки кода Python, управление потоком команд. Типизация в Python, основные типы данных: NoneType, логический, числовой, строковый типы, коллекции, инициализация переменных, изменяемые и неизменяемые типы, преобразование типов, строки и байтовые последовательности, форматирование строк, срезы (slices), интернирование строк. Функции в Python, анонимные функции и лямбда-выражения, глобальные, нелокальные и локальные переменные, переопределение глобальных переменных, модули, подключение модулей, пакеты, создание пакетов, импорт функций и модулей из пакетов.

2. Научные вычисления в Python
Библиотека NumPy, массив NumPy (ndarray), представления массивов, создание массивов и представлений, копирование массивов, структурированные массивы, типы элементов массива, форма массива, итерирование массивов, страйды массива, изменение формы и страйдов, индексирование и срезы (slices) массива, fancy indexing, функция where.
Операции над массивами, конкатенация, разбиение и дублирование массивов, арифметические операции с массивами, broadcasting, универсальные функции (ufunc), векторно-матричные операции, математические и статистические методы массивов, методы линейной алгебры, модуль linalg, матрицы NumPy, классы matrix и ndarray, генерация случайных массивов, модуль random, загрузка и сохранение массивов в файл.
Библиотека Pandas, работа с табличными данными в формате .csv и .xlsx, структура данных Series и DataFrame, создание объектов Series и DataFrame, копирование и изменение данных, типы данных в Pandas, методы и атрибуты объектов Series и DataFrame, индексирование и выбор данных, фильтрация и срезы данных, работа с пропущенными значениями, методы fillna и dropna.
Операции над данными, конкатенация, объединение и разделение DataFrame, агрегирование данных, группировка с помощью функции groupby, сводные таблицы (pivot tables), операции merge и join для объединения данных, сортировка и ранжирование данных, методы sort_values и rank, математические и статистические операции с данными, методы describe, mean, median и т.д.
Визуализация данных, интеграция табличных данных с библиотекой Matplotlib, построение графиков и диаграмм. Работа с временными рядами, обработка дат и времени, методы to_datetime и resample. Загрузка и сохранение данных в различные форматы, чтение и запись CSV, Excel, SQL, HDF5 и других форматов, методы read_csv, to_csv, read_excel, to_excel и т.д.
Модуль scipy.ndimage для обработки изображений, фильтрация, морфологические операции, измерение характеристик изображений, функции для сглаживания, измерения объектов и др. Загрузка и сохранение данных, поддержка различных форматов данных, интеграция с библиотеками NumPy и Pandas, работа с научными и инженерными данными.

3. Элементы теории вероятности и математической статистики
Случайное событие. Вероятность. Распределения вероятностей. Математическое ожидание. Дисперсия. Корреляция. Распределения. Точечные оценки. Ошибки первого и второго рода. Доверительные интервалы. Статистические гипотезы. Условная вероятность. Независимые события. Формула Байеса. Доверительный интервал.
Библиотека SciPy, математические методы и алгоритмы библиотеки, основные модули и компоненты, работа с многомерными массивами на основе NumPy, функции для научных и инженерных расчетов. Модуль scipy.linalg для линейной алгебры, разложение матриц (LU, QR, SVD).
Модуль scipy.interpolate для интерполяции данных, методы интерполяции (UnivariateSpline, interp1d, griddata), работа с многомерными данными. Модуль scipy.signal для обработки сигналов, фильтрация сигналов (Butterworth, Chebyshev), свертка и корреляция сигналов, анализ временных рядов, спектральный анализ, функции spectrogram и welch.

4. Визуализация данных в Python
Этапы визуализации данных. Разведочный анализ данных (EDA). Первичная обработка данных. Важность визуализации в анализе данных. Инструменты визуализации данных. Библиотеки языка Python для визуализации. Библиотека matplotlib, seaborn. Архитектура matplotlib. Контейнеры графических объектов. Жизненный цикл фигуры. Основные типы графиков и диаграмм в matplotlib. Сохранение изображений.

5. Предобработка данных
Методы предварительной обработки данных. Важность корректной подготовки данных для повышения качества моделей. Работа с пропущенными значениями, стратегии обработки пропусков (удаление, замена средним, медианой, наиболее частым значением и т.д.). Нормализация и стандартизация данных: методы и их применение (StandardScaler, MinMaxScaler). Кодирование категориальных признаков: техники one-hot encoding, label encoding и их реализация. Масштабирование признаков и его влияние на модели.
Обработка выбросов, методы выявления и коррекции выбросов. Преобразование данных для улучшения их структуры: логарифмическое, степенное преобразование. Выбор и создание новых признаков, их влияние на качество модели. Техника Feature Engineering и ее роль в машинном обучении.

Научное программирование в Python

1. Основные парадигмы машинного обучения
Машинное обучение и науки о данных. Data-driven и model-based подходы. История машинного обучения. Общая схема решения задач машинного обучения. Стандарт CRISP-DM. Типы задач машинного обучения. Примеры прикладных задач. Основные понятия и определения. Обзор основных парадигм машинного обучения.

2. Обучение с учителем: основные принципы
Методы обучения с учителем. Обучающийся алгоритм. Индуктивный порог. Проблема переобучения и понятие обобщающей способности. Функция потерь. Подготовка данных для обучения и валидации модели: отложенная выборка и k-fold cross-validation.
Библиотека scikit-learn, основные концепции и компоненты, создание и обучение моделей, выбор и подготовка данных, разбиение данных на обучающую и тестовую выборки, функции train_test_split и cross_val_score.

3. Обучение с учителем: регрессия
Понятие статистической модели. Теоретические и статистические модели. Примеры. Регрессионные модели. Постановка задачи обучения регрессионной модели. Риск модели с квадратичной функцией потерь. Функция регрессии. Оптимальность регрессионных моделей. Задачи, виды и этапы регрессионного анализа. Метод наименьших квадратов. Матрица плана и система нормальных уравнений. МНК-оценки параметров простейшей линейной регрессии. Ошибки и остатки модели. Предположения регрессионного анализа. Свойства МНК-оценок: линейность, состоятельность, несмещенность, эффективность, нормальность. Метод наименьших квадратов.
Библиотека scikit-learn. Базовые модели для задач регрессии (Linear Regression, Ridge, Lasso) Оценка моделей, метрики оценки качества (MSE, MAE, MAPE, R2.),
Пайплайны (Pipeline) для упрощения процессов обучения и предсказания, создание и использование пайплайнов, комбинирование различных этапов обработки и моделей.
Визуализация результатов, интеграция с библиотеками Matplotlib и Seaborn, построение графиков и диаграмм для анализа моделей и данных.
Загрузка и сохранение моделей, функции joblib для сохранения и загрузки обученных моделей.

4. Бинарная классификация
Постановка задачи классификации. Бинарная классификация. Функция потерь и эмпирический риск классификатора. Виды функций потерь. Статистический взгляд на задачу обучения. Принцип минимизации эмпирического риска и метод максимального правдоподобия. Регуляризованный эмпирический риск. Оценка точности бинарного классификатора. Матрица ошибок (confusion matrix). Специфичность и чувствительность, точность и полнота. ROC-анализ и PR-анализ. Показатели ROC AUC и PR AUC.
Библиотека scikit-learn. Базовая модель для задачи бинарной классификации (логистическая регрессия): преимущества и недостатки. Постановка задачи обучения бинарной логистической регрессии. Критерий обучения и метод обучения. Логистическая функция потерь. Регуляризованная логистическая регрессия.

5. Многоклассовая классификация
Постановка задачи многоклассовой классификации. Подходы к многоклассовой классификации. Метод ECOC. Схемы кодирования. Методы декодирования. Оценка точности многоклассового классификатора. Матрица ошибок. Микро- и макро- показатели точности. Специфичность и чувствительность, точность и полнота. Микро- и макро- ROC-анализы и PR-анализы.
Метод K-ближайших соседей (K-Nearest Neighbour). Способы расчета расстояния и близости объектов: Евклидово расстояние, Манхэттенское расстояние, Косинусное расстояние. Методы заполнения пропусков на основе метода K-ближайших соседей и балансировка классов на основе метода K-ближайших соседей.
Балансировка классов. Основные методы балансировки классов в несбалансированной выборке. Важность балансировки, изучение инструментов и алгоритмов библиотеки imblearn для балансировки классов.

Введение в машинное обучение

1. Непараметрическая регрессия
Виды регрессионного анализа. Особенности непараметрического регрессионного анализа. Регрессограмма. Наивное оценивание функции регрессии. Ядерная регрессия Надарая-Уотсона. Виды ядер. KNN-регрессия. Линейное сглаживание. Связь матрицы линейного сглаживания и проекционной матрицы линейной регрессионной модели. Локальная линейная регрессия. Локальный метод наименьших квадратов. Использование взвешенного метода наименьших квадратов для локального линейного оценивания.

2. Деревья решений
Понятие дерева решений. Регрессионные и классификационные деревья. Типы вершин. Обучение деревьев. Метрики негомогенности вершин. Метрика Джини. Энтропия распределения данных в вершинах. Критерий ветвления. Выбор решающего правила в узлах. Использование решающих деревьев для отбора признаков. Оценивание важности признаков. Переобучение деревьев решений. Критерий остановки обучения.

3. Обучение ансамблей
Обучение ансамблей. Понятие слабой модели. Подходы к обучению ансамблей: бэггинг, бустинг, стеккинг. Бутстреппинг выборки. Бэггинг деревьев решений. Out-of-bag (OOB) ошибка. Использование OOB-ошибки для кросс-валидации деревьев. Случайный лес. Преимущества и недостатки бэггинга. Техники бустинга моделей машинного обучения. Принципы адаптивного бустинга (AdaBoost). Адаптивный бустинг моделей регрессии и классификации. Алгоритмы AdaBoost.R2 и AdaBoost.M1. Адаптивный бустинг деревьев решений. Пошаговое аддитивное обучение моделей машинного обучения.

4. Сокращение размерности данных и метод главных компонентов
Понятие машинного обучения без учителя. Виды и задачи обучения без учителя. Примеры практических задач. Постановка задачи сокращения размерности данных. Подходы к сокращению размерности. Метод главных компонентов.

5. Кластерный анализ данных
Кластерный анализ данных: цели, история развития, постановка задачи. Практические применения кластерного анализа. Подходы к кластеризации данных. Виды кластерного анализа. Общая схема решения задачи кластеризации. Метод K-средних. Инициализация метода. Алгоритм K-means++. Сходимость метода K-средних. Модификации метода. Недостатки метода. Агломеративные и дивизивные методы кластеризации. Агломеративная иерархическая кластеризация. Визуализация результатов кластеризации. Дендрограмма. Методы расчета расстояния между кластерами. Статистическое расстояние. Метод Уорда. Формула Ланса-Вильямса.

Машинное обучение. Часть 1

1. Многослойные нейронные сети
Математическая модель искусственного нейрона, активационные характеристики нейронов, нейронные сети прямого распространения, математическая модель многослойной нейронной сети, универсальная аппроксимационная теорема, нейронная сеть как универсальный аппроскиматор.
Постановка задачи обучения многослойной нейронной сети. Простой градиентный метод. Виды функций потерь. Расчёт градиента функции потерь, chain rule, метод обратного распространения ошибки (backpropagation algorithm), двойственные потенциалы нейронов, сеть обратного распространения, градиенты квадратичной функции потерь и кросс-энтропии.

2. Применение методов машинного обучения и нейронных сетей в задачах обработки изображений и текстов
Основы работы с изображениями (библиотеки openCV, pillow), предварительная обработка изображений. Аугментация данных.
Математическая модель сверточной нейронной сети. Виды слоев сети. Понятие карты признаков. Постановка задачи обучения сверточной нейронной сети. Применение сверточных нейронных сетей для решения задач классификации, регрессии и трансформации изображений. Перенос знаний в сверточных нейронных сетях. Сети AlexNet, VGG, ResNet. Архитектуры моделей FCN и U-Net. Основы работы с текстом. Задачи обработки естественного языка (natural language processing, NLP). Общая архитектура NLP-системы. Уровни обработки естественного языка. Трансформеры.

Машинное обучение. Часть 2

1. Основные понятия безопасности информационных систем
Раздел содержит в себе описание основных понятий кибербезопасности. Излагаются ключевые характеристики цифровых угроз. Рассматриваются различные виды уязвимостей и угроз. Изучаются меры обеспечения безопасности и механизмы их реализации.

2. Сферы кибербезопасности
В разделе изучаются методы анализа вредоносного программного обеспечения. Приводится алгоритм разработки защищенного приложения. Излагаются особенности промышленной кибербезопасности и типичные уязвимости.

3. Инструменты атакующих. Виды кибератак
Рассматриваются техники и тактики кибератак MITRE ATT&CK, современный ландшафт угроз.

4. Будущее кибербезопасности
Ознакомление с IoT и его особенностями. Рассказывается о кибериммунитете и его роли в эволюции кибербезопасности. Описываются тренды в кибербезопасности и развитии защиты.

Обеспечение безопасности приложений

Практика, подготовка к защите и защита итогового проекта. В рамках модуля обучающиеся проходят практику на базе индустриального партнера, развивая навыки, полученные в предыдущих модулях, готовят и представляют к защите итоговый проект.

Практика, подготовка к защите и защита итогового проекта