ПРОГРАММА КУРСА
Data Science: машинное обучение и нейронные сети. Профессиональный уровень
Data Science: машинное обучение и нейронные сети. Профессиональный уровень
Тема 1. Введение в курс – Продолжение пути в Data Science
Тема 2. Работа с данными
Тема 3. Алгоритмы машинного обучения в отсутствии нормального распределения.
Тема 4. Математика. Основы статистики и теория вероятности.
Тема 5. Нейронные сети.
Тема 6. Рекуррентные нейронные сети.
Тема 7: NLP: алгоритмы и подходы.
Тема 8. Машинное обучение. AutoML.
Тема 9. Генеративно-состязательные сети.
Тема 10. Обучение с подкреплением.
Тема 11. Трансферное обучение.
Тема 12. Трансформеры.
Тема 13 Трансформеры продолжение и ограничения ML систем.
Тема 14. Развертывание моделей с помощью API
Тема 15. Разработка конвейеров ML.
Тема 16. Презентации финальных проектов.
- Основные понятия в машинном обучении.
- Типы данных и задачи машинного обучения.
- Обучение с учителем: классификация.
- Модели для решения задачи классификации.
- Оценка качества моделей классификации.
- Обучение с учителем: регрессия.
- Модели для решения задачи регрессии.
- Оценка качества моделей регрессии.
- Сбалансированность классов.
- Обзор инструментов и библиотек.
Тема 2. Работа с данными
- Введение в работу с данными.
- Типы данных и их использование.
- Методы и инструменты для обработки данных.
- Обработка, хранение и использование информации.
- Типы баз данных.
- SQL и PSQL.
- Базовый SQL.
- Продвинутый SQL.
- Безопасность и конфиденциальность данных.
Тема 3. Алгоритмы машинного обучения в отсутствии нормального распределения.
- Исследовательский анализ данных (EDA).
- Алгоритмы машинного обучения в отсутствии нормального распределения.
- Деревья решений и ансамблевые методы.
- Методы на основе расстояний.
- Методы понижения размерности.
- Ассоциативные правила.
- Обучение представлений.
- Автоэнкодеры.
- Вариационные автоэнкодеры.
- Сверточные автоэнкодеры.
- Дешумящие автоэнкодеры.
Тема 4. Математика. Основы статистики и теория вероятности.
- Основные понятия и обозначения.
- Знакомство с понятиями вектор, матрица, векторное пространство.
- Действия над векторами и матрицами.
- Специальные типы матриц.
- Теория вероятности и комбинаторика.
- Условная вероятность и формула Байеса.
- Практическое применение вероятностей и формулы Байеса.
- Вероятностное моделирование и оценка параметров.
- Гипотезы и статистические тесты (t-тест, ANOVA).
- Корреляция и ковариация. Понятие корреляции и её виды.
Тема 5. Нейронные сети.
- Введение и основные понятия в нейронных сетях.
- Нейроны и слои нейронных сетей.
- Веса и смещение.
- Функции активации нейронных сетей.
- Обучение нейронных сетей.
- Популярные архитектуры нейронных сетей.
- Сверточные нейронные сети.
- Сверточные нейронные сети LeNet.
- Сверточные нейронные сети AlexNet.
- Сверточные нейронные сети MobileNet.
- Сверточные нейронные сети: YOLO.
- Метрики качества YOLOv5.
- Аугментация данных в YOLOv5.
Тема 6. Рекуррентные нейронные сети.
- Инструменты для работы с нейросетями: keras и tf.
- Рекуррентные нейронные сети.
- Рекуррентные нейронные сети: LSTM.
- Рекуррентные нейронные сети: GRU.
- Применение LSTM и GRU.
Тема 7: NLP: алгоритмы и подходы.
- NLP: алгоритмы и подходы.
- Векторные представления слов.
- Word2Vec.
- Word2Vec: CBOW.
- Word2Vec: Skip-Gram.
- GloVe.
- FastText.
- Работа с текстом в Python.
- nltk.
- Реализация чат-бота на PyTorch.
Тема 8. Машинное обучение. AutoML.
- Введение в AutoML.
- Популярные инструменты в AutoML.
- Ограничения текущих AutoML систем.
- AutoML PyCaret 3.0.
- AutoML PyCaret 3.0 классификация.
- AutoML PyCaret 3.0 регрессия.
- AutoML PyCaret 3.0 кластеризация.
- AutoML PyCaret 3.0 детекция аномалий.
- AutoML PyCaret 3.0 временной ряд.
- AutoML для нейросетей.
Тема 9. Генеративно-состязательные сети.
- PyTorch.
- VGG.
- ResNet.
- Введение в GAN.
- Генеративно-состязательная сеть DCGAN.
- Генеративно-состязательная сеть cGAN.
- Генеративно-состязательная сеть CycleGAN.
- Генеративно-состязательная сеть WGAN.
- Генеративно-состязательная сеть Pix2Pix.
- Генеративно-состязательная сеть StyleGAN.
- Генеративно-состязательная сеть StyleGAN2.
- Генеративно-состязательная сеть BigGAN.
Тема 10. Обучение с подкреплением.
- Инструменты для работы.
- Обучение с подкреплением.
- Основные элементы обучения с подкреплением.
- Процесс принятия решений.
- Значение (Value-Based) Алгоритмы.
- Политика (Policy-Based) Алгоритмы.
- Модель (Model-Based) Алгоритмы.
- Комбинированные (Hybrid) Алгоритмы.
- Мультиагентное обучение с подкреплением.
- Глубокое обучение с подкреплением.
- Обучения с подкреплением переобучение.
- Подбор гиперпараметров.
Тема 11. Трансферное обучение.
- Введение в трансферное обучение.
- Этапы трансферного обучения.
- Настройка виртуального окружения.
- Предобученные модели.
- Данные обучения моделей.
- Разметкdа данных.
- Модуль detect.
- Модуль train.
- Модуль hyps.
- Установка и настройка TensorBoard.
- Модуль segment.
- Метрики качества.
Тема 12. Трансформеры.
- Введение в трансформеры, важность в NLP.
- Архитектура трансформера: внимание и механизмы.
- Основы самовнимания (Self-Attention) и его роль.
- Позиционное кодирование и его важность.
- Энкодеры и декодеры в архитектуре трансформера.
- Мультиголовое внимание (Multi-Head Attention).
- Применение нормализации по слоям (Layer Normalization).
- Feed-Forward нейронные сети в архитектуре трансформера.
- Примеры применения трансформеров в различных задачах NLP.
- Обзор расширений архитектуры трансформеров.
- BERT (Bidirectional Encoder Representations from Transformers): архитектура и применение.
- GPT (Generative Pre-trained Transformer): от GPT-1 до GPT-3 и их особенности.
- Дистилляция моделей и эффективность трансформеров.
- Работа с Hugging Face Transformers.
Тема 13 Трансформеры продолжение и ограничения ML систем.
- XLNetModel.
- Т5.
- AlbertModel.
- Проектирование ml систем.
- Жизненный цикл модели.
- Инструменты для проектирования ml систем.
- Развертывание модели.
- Ограничения ml систем.
Тема 14. Развертывание моделей с помощью API
- Микросервисная архитектура.
- REST vs gRPS.
- Фреймворки для разработки веб-приложений.
- Знакомство с Flask.
- Знакомство с FastAPI.
- Знакомство с Django.
- Docker.
- Тестирование модулей при помощи unittest.
- Тестирование модулей при помощи PostMan.
- Микросервис на примере рекомендательной системы.
Тема 15. Разработка конвейеров ML.
- Обзор этапов конвейера машинного обучения.
- Оркестровка конвейера.
- Apache Beam.
- Apache Airflow.
- Apache Airflow Dag.
- Apache Airflow планирование и выполнение.
- Apache Airflow мониторинги управление.
- Apache Airflow настройка и расширение.
- Apache Airflow обслуживание и масштабирование.
- Kubeflow.
- Kubeflow. Основные компоненты.
- Kubeflow. Управление рабочими процессами ML.
- Kubeflow. Масштабируемость и управление ресурсами.
- Kubeflow. Компоненты для разработки ML.
- Kubeflow. Управление моделями и экспериментами.
Тема 16. Презентации финальных проектов.
Наличие git репозитория с проектом или пройденный курс (курсы).
Знание Python на базовом уровне.
Понимание и использование базовых принципов классического машинного обучения.
Для прохождения курса желательно: