Cours fondamentaux S1

  • 5 cours obligatoires en machine learning, statistique mathématique et optimisation
  • de septembre à décembre
  • examens en décembre et début janvier
  • rattrapages en juin
  • 30 ECTS
  • plateforme pédagogique : Moodle
Intitulé de cours Enseignant·e·s
Apprentissage statistique G. Biau
Estimation non-paramétrique I. Castillo & C. Dion
Introduction à l’apprentissage automatique M. Sangnier
Modèle linéaire et grande dimension E. Roquain
Optimisation convexe séquentielle et applications O. Wintenberger

Apprentissage statistique

Responsable G. Biau

Objectif Ce cours présente les grands principes de l’apprentissage statistique et les problématiques liées.

Prérequis Notions fondamentales de probabilités et statistique.

Thèmes abordés

  1. Introduction au problème de la classification supervisée
  2. Principe de minimisation du risque empirique, théorie de Vapnik-Chervonenkis
  3. Bornes de performance, pertes convexes, sélection de modèle
  4. Classification non paramétrique, théorème de Stone, plus proches voisins, arbres
  5. Classification par réseaux neuronaux
  6. Quantification et clustering

Estimation non-paramétrique

Responsable I. Castillo & C. Dion

Objectif Présenter des méthodes classiques d’estimation non-paramétrique, étudier le comportement des estimateurs introduits pour différents risques, introduire à l’optimalité des vitesses de convergence au sens minimax. Les notions introduites seront illustrées dans des exemples de modèles statistiques très utilisés en pratique : estimation de densité, régression non-paramétrique, signal en bruit blanc gaussien, modèles de graphes aléatoires.

Prérequis Notions fondamentales de probabilités, bases de statistique, estimation paramétrique, bases d’analyse fonctionnelle (cas Hilbert au moins).

Thèmes abordés

  1. Estimation non-paramétrique de densité
  2. Modèles de bruit blanc, de régression et de convolution
  3. Sélection de paramètres
  4. Seuillage et estimateurs par ondelettes
  5. Modèles de graphes aléatoires
  6. Bornes inférieures de vitesses au sens minimax
  7. Régions de confiance non-paramétriques

Introduction à l' apprentissage automatique

Responsable M. Sangnier

Objectif Ce cours introduit les principales méthodes de prédiction (classification et régression), de clustering et de réduction de dimension. Il présente l’apprentissage statistique d’un point de vue algorithmique et sera illustré par des travaux pratiques (en Python) ainsi que par un challenge en science des données.

Prérequis Notions fondamentales de probabilités et statistique, analyse convexe, algèbre linéaire et calcul scientifique en Python.

Thèmes abordés

  1. Analyse discriminante, régression logistique, machines à vecteurs supports
  2. k-plus proches voisins, arbres de décision et méthodes ensemblistes (forêts et boosting)
  3. Modèle de mélange et algorithme EM, k-moyennes, clustering spectral et hiérarchique
  4. Analyse en composantes principales, projections aléatoires et positionnement multidimensionnel

Modèle linéaire et grande dimension

Responsable E. Roquain

Objectif Rappels et compléments sur le modèle linéaire. Seuillage. Hypothèse de parcimonie. Sélection de modèles. Sélection ridge et LASSO. Régression logistique, régression Poisson, modèle linéaire généralisé. Validation croisée. Détection. Tests multiples. Randomization.

Prérequis Notions fondamentales de probabilités et statistique, logiciel R.

Thèmes abordés

  1. Estimation dans le modèle de bruit blanc gaussien
  2. Estimation dans le modèle linéaire gaussien de grande dimension
  3. Modèles linéaires généralisés
  4. Détection et tests multiples
  5. Régions de confiance après sélection

Optimisation convexe séquentielle et applications

Responsable O. Wintenberger

Page web du cours ici

Objectif Le principe de ce cours est d’étudier la convergence de nombreux algorithmes en ligne, d’abord dans un cadre déterministe puis aléatoire. Il sera démontré que l’apprentissage séquentiel fournit des solutions adaptatives et robustes à de nombreux problèmes d’optimisations convexes sous contraintes. La convergence des algorithmes étudiés sera illustrée sous R dans le cadre de la classification des données MNIST.

Prérequis Notions fondamentales de probabilités et statistique, calcul scientifique sous Python ou R

Thèmes abordés

  1. Introduction à l’optimisation convexe dans un cadre séquentiel
  2. Projection sur le simplexe, parcimonie
  3. Algorithmes du premier et du second ordre
  4. Régularisation et algorithmes libres de projection
  5. Problème du bandit
  6. Apprentissage dans un cadre stochastique
M2 Statistique
M2 Statistique
Master Mathématiques et Applications

Formation en statistique mathématique, machine learning et data science