Тема 1. Введение в курс – Продолжение пути в Data Science

• Основные понятия в машинном обучении.
• Типы данных и задачи машинного обучения.
• Обучение с учителем: классификация.
• Модели для решения задачи классификации.
• Оценка качества моделей классификации.
• Обучение с учителем: регрессия.
• Модели для решения задачи регрессии.
• Оценка качества моделей регрессии.
• Сбалансированность классов.
• Обзор инструментов и библиотек.

Тема 2. Работа с данными

• Вопросы ДЗ.
• Введение в работу с данными.
• Типы данных и их использование.
• Методы и инструменты для обработки данных.
• Обработка, хранение и использование информации.
• Типы баз данных.
• SQL и Postgres.
• Базовый SQL.
• Продвинутый SQL.
• Безопасность и конфиденциальность данных.

Тема 3. Алгоритмы машинного обучения в отсутствии нормального распределения.

• ДЗ.
• Исследовательский анализ данных (EDA).
• Алгоритмы машинного обучения в отсутствии нормального распределения.
• Деревья решений и ансамблевые методы.
• Методы на основе расстояний.
• Методы понижения размерности.
• Ассоциативные правила.
• Обучение представлений.
• Автоэнкодеры.
• Вариационные автоэнкодеры.
• Сверточные автоэнкодеры.
• Дешумящие автоэнкодеры.

Тема 4. Математика. Основы статистики и теория вероятности.

• Основные понятия и обозначения.
• Знакомство с понятиями вектор, матрица, векторное пространство.
• Действия над векторами и матрицами.
• Специальные типы матриц.
• Теория вероятности и комбинаторика.
• Условная вероятность и формула Байеса.
• Практическое применение вероятностей и формулы Байеса.
• Вероятностное моделирование и оценка параметров.
• Гипотезы и статистические тесты (t-тест, ANOVA).
• Корреляция и ковариация. Понятие корреляции и её виды.

Тема 5. Нейронные сети.

• Введение и основные понятия в нейронных сетях.
• Нейроны и слои нейронных сетей.
• Веса и смещения.
• Функции активации нейронных сетей.
• Обучение нейронных сетей.
• Популярные архитектуры нейронных сетей.
• Сверточные нейронные сети.
• Сверточные нейронные сети LeNet.
• Сверточные нейронные сети AlexNet.
• Сверточные нейронные сети MobileNet.
• Сверточные нейронные сети: YOLO.
• Метрики качества YOLOv5.
• Аугментация данных в YOLOv5.

Тема 6. Рекуррентные нейронные сети.

• Вопросы с прошлой лекции сверточные нейронные сети.
• Инструменты для работы с нейросетями: keras и tf.
• Рекуррентные нейронные сети.
• Рекуррентные нейронные сети: LSTM.
• Рекуррентные нейронные сети: GRU.
• Применение LSTM и GRU.

Тема 7: NLP: алгоритмы и подходы.

• Вопросы с прошлой лекции рекуррентные нейронные сети.
• NLP: алгоритмы и подходы.
• Векторные представления слов.
• Word2Vec.
• Word2Vec: CBOW.
• Word2Vec: Skip-Gram.
• GloVe.
• FastText.
• Работа с текстом в Python.
• NLTK.

Тема 8. Машинное обучение. AutoML.

• Презентация ДЗ.
• Введение в AutoML.
• Популярные инструменты в AutoML.
• Ограничения текущих AutoML систем.
• AutoML PyCaret 3.0.
• AutoML PyCaret 3.0 классификация.
• AutoML PyCaret 3.0 регрессия.
• AutoML PyCaret 3.0 кластеризация.
• AutoML PyCaret 3.0 детекция аномалий.
• AutoML PyCaret 3.0 временной ряд.
• AutoML для нейросетей.

Тема 9. Генеративно-состязательные сети.

• PyTorch.
• VGG.
• ResNet.
• Введение в GAN.
• Генеративно-состязательная сеть DCGAN.
• Генеративно-состязательная сеть cGAN.
• Генеративно-состязательная сеть CycleGAN.
• Генеративно-состязательная сеть WGAN.
• Генеративно-состязательная сеть Pix2Pix.
• Генеративно-состязательная сеть StyleGAN.
• Генеративно-состязательная сеть StyleGAN2.
• Генеративно-состязательная сеть BigGAN.

Тема 10. Обучение с подкреплением.

• Презентация ДЗ.
• Инструменты для работы.
• Обучение с подкреплением.
• Основные элементы обучения с подкреплением.
• Процесс принятия решений.
• Значение (Value-Based) Алгоритмы.
• Политика (Policy-Based) Алгоритмы.
• Модель (Model-Based) Алгоритмы.
• Комбинированные (Hybrid) Алгоритмы.
• Мультиагентное обучение с подкреплением.
• Глубокое обучение с подкреплением.
• Обучения с подкреплением переобучение.
• Подбор гиперпараметров.

Тема 11. Трансферное обучение.

• Презентация дз.
• Введение в трансферное обучение.
• Этапы трансферного обучения.
• Настройка виртуального окружения.
• Предобученные модели.
• Данные обучения моделей.
• Разметкdа данных.
• Модуль detect.
• Модуль train.
• Модуль hyps.
• Установка и настройка TensorBoard.
• Модуль segment.
• Метрики качества.

Тема 12. Трансформеры.

• Введение в трансформеры и их важность в NLP.
• Архитектура трансформера: внимание и механизмы.
• Основы самовнимания (Self-Attention) и его роль.
• Позиционное кодирование и его важность.
• Энкодеры и декодеры в архитектуре трансформера.
• Мультиголовое внимание (Multi-Head Attention).
• Применение нормализации по слоям (Layer Normalization).
• Feed-Forward нейронные сети в архитектуре трансформера.
• Примеры применения трансформеров в различных задачах NLP.
• Обзор расширений архитектуры трансформеров.
• BERT (Bidirectional Encoder Representations from Transformers): архитектура и применение.
• GPT (Generative Pre-trained Transformer): от GPT-1 до GPT-3 и их особенности.
• Дистилляция моделей и эффективность трансформеров.
• Работа с Hugging Face Transformers.

Тема 13 Трансформеры продолжение и ограничения ML систем.

• Презентация дз
• XLNetModel.
• Т5.
• AlbertModel.
• Проектирование ml систем.
• Жизненный цикл модели.
• Инструменты для проектирования ml систем.
• Развертывание модели.
• Ограничения ml систем.

Тема 14. Развертывание моделей с помощью API

• Микросервисная архитектура.
• REST vs gRPS.
• Фреймворки для разработки веб-приложений.
• Знакомство с Flask.
• Знакомство с FastAPI.
• Знакомство с Django.
• Docker.
• Тестирование модулей при помощи unittest.
• Тестирование модулей при помощи PostMan.
• Микросервис на примере рекомендательной системы.

Тема 15. Разработка конвейеров ML.

• Обзор этапов конвейера машинного обучения.
• Оркестровка конвейера.
• Apache Beam.
• Apache Airflow.
• Apache Airflow Dag.
• Apache Airflow планирование и выполнение.
• Apache Airflow мониторинги управление.
• Apache Airflow настройка и расширение.
• Apache Airflow обслуживание и масштабирование.
• Kubeflow.
• Kubeflow. Основные компоненты.
• Kubeflow. Управление рабочими процессами ML.
• Kubeflow. Масштабируемость и управление ресурсами.
• Kubeflow. Компоненты для разработки ML.
• Kubeflow. Управление моделями и экспериментами.

Тема 16. Презентации финальных проектов.