Apprentissage - 2013

Cours de la filière mathématiques-informatique à l'Ecole normale supérieure
Peut également compter comme cours non-mathématique pour les étudiants du département de mathématiques
Ou comme cours mathématique pour les étudiants du département d'informatique

Cours de l'annee 2012



Enseignants


Ce cours est assuré en commun par trois chercheurs :
-- au département d'informatique : Francis Bach, Guillaume Obozinski
-- au département de mathématiques : Olivier Catoni

Un chargé de TD assurera les séances pratiques (Rémi Lajugie)


Résumé du cours

Ce cours portera sur l'analyse de données de grande dimension, signaux, images, bioinformatique, données économiques, les domaines d'applications dans lesquels d'importants volumes de données sont collectées et demandent à être analysées, classées, corrélées sont nombreux.

L'objectif du cours est de présenter les théories et algorithmes majeurs de l'apprentissage statistique. Les méthodes abordées reposeront en particulier sur des arguments d'analyse convexe et les inégalités de déviations non asymptotiques. Les séances de TDs (dont plus de la moitié seront réalisées sur machines) donneront lieu à des implantations simples des algorithmes vus en cours et à une application à différents domaines comme la bioinformatique ou la vision.


Les seuls pré-requis sont d'être familier avec les fondements de la théorie des probabilités (notion de variables aléatoires, théorèmes de convergence, espérance conditionnelle), ceux vus au cours d'intégration et probabilités du premier semestre ; il n'est pas nécessaire de suivre en parallèle le cours de processus aléatoires du second semestre. En revanche, quelques nouveaux outils probabilistes (et notamment, des inégalités de concentration) seront introduits.



Méthode pédagogique, attendus et critères d'évaluation

L'objectif de ce cours est de mêler
-- théorie (des théorèmes seront prouvés)
-- et pratique (des algorithmes seront à implémenter sur données réelles ou artificielles).

Nous alternerons, dans la mesure du possible,
-- cours magistral,
-- exercices de mise en application ou d'approfondissement (ensemble ou à la maison),
-- codage d'algorithmes (à la maison, dans le langage de son choix : Matlab, R, Python, C, etc.).

Ce cours durera 50 heures (30 heures de cours + 20 heures de TDs).




Notes de cours et déroulement prévisionnel

Les cours auront lieu les jeudis matins, de 8h30 à 12h30.
Dans la mesure du possible, nous éviterons de traiter le même sujet pendant les 4 heures et essaierons plutôt d'étudier deux  modèles et théories en parallèle.

14/02    Guillaume        2h    Introduction
14/02    Guillaume        2h    Apprentissage supervisé
Notes de cours
TP d'introduction à Matlab

21/02    Guillaume        2h    Méthodes par Moyennage local
Notes de cours
21/02    Rémi                2h    Apprentissage supervisé
Sujet du TP1


28/02    Guillaume        2h    Validation croisée / sélection de modèles
Notes de cours
28/02    Rémi                2h    Méthodes par moyennage local
Sujet du TP2

07/03    Francis              2h    Analyse convexe
07/03    Rémi                 2h    Analyse convexe
Sujet du TD 3

21/03    Francis               2h    Optimisation convexe
21/03    Rémi                  2h    Optimisation convexe
Sujet du TP4

28/03    Olivier               2h    Probabilités et concentration
Notes de cours
28/03    Rémi                  2h    Probabilités et concentration
TP/TD sur les inégalités de concentration

04/04    Olivier               2h    Probabilités et concentration
Notes de cours
04/04    Guillaume         2h    Méthodes probabilistes (maximum de vraisemblance)
Notes de cours

11/04    Guillaume        2h    Régression linéaire/logistique
Notes de cours

11/04    Rémi                2h    Régression linéaire/logistique

18/04    Guillaume        2h    Régularisation (Stein, analyse biais/variance)
Notes de cours
18/04    Rémi                2h    Régularisation (Stein, analyse biais/variance)
Sujet du TP/TD

25/04    Francis        2h    Classification linéaire par pertes convexes
25/04    Francis        2h    Méthodes à Noyaux

16/05    Francis        2h    Méthodes à Noyaux
16/05    Rémi           2h    Méthodes à Noyaux
Sujet du TP/TD

23/05    Olivier       4h    Inégalites de marge par méthodes PAC-Bayes
Notes de cours

30/05    Remi         9h-11h    Inégalites de marge par méthodes PAC-Bayes
Sujet du TP/TD

06/06                EXAMEN