Apprentissage automatique I : analyse des mégadonnées et prise de décision
MATH 60629

Automne 2026

[Horaire]  [Évaluations]  [Références]  [English] 

Professeur: Laurent Charlin

Horaire:

Jour/Heure	Salle de classe
Mercredi 8h30 -- 11h30	Decelles, Natashquan

Heure de bureau: Sur rendez-vous (écrivez-moi par courriel).

Description:
Ce cours porte sur les modèles d'apprentissage automatique (machine learning). En plus des modèles standards, nous étudierons aussi les modèles pour analyser les comportements des utilisateurs ainsi que pour la prise de décision.
Nous étudierons les modèles d'apprentissage automatique pour l'apprentissage supervisé, non supervisé et comment ils peuvent être étendus aux données massives à l'aide de techniques de calcul à grande échelle (p. ex., grappe d'ordinateurs). Nous étudierons en plus des modèles récents pour les systèmes de recommandations.

**Déroulement du cours:** Le cours se donnera en format pédagogie inversée (et aussi ici). C'est une approche pédagogique dans laquelle les étudiants apprennent la matière avant de venir en classe. Le matériel du cours sera donc disponible sous forme de vidéos ou de lectures. Le temps en classe sera réservé pour de la pédagogie plus active par exemple avec des activités comme la résolution de problèmes, les démonstrations et les séances de questions-réponses. De plus, les classes démarreront par un court résumé de la matière de la semaine.

**Niveau mathématique:** Les étudiants doivent avoir une maturité mathématique.

**Niveau de programmation:** Les étudiants devront connaître le langage Python pour suivre ce cours. Si vous ne le connaissez pas, voici quelques options pour l'apprendre. Je recommande fortement la première (HEC CAMS).

1. Cours. HEC CAMS propose des cours d'introduction à Python en septembre (en français). Vous pouvez vous inscrire ici: inscriptions CAMS
2. Voici le tutoriel que j'ai utilisé en 2018: Fall 2018 tutorial (en anglais). Bien que je conseille plutôt les deux premières options, celle-ci peut vous donner une idée du niveau minimal souhaitable pour le cours.

En plus, un tutoriel sur l'apprentissage automatique utilisant le Python sera offert à la semaine 4 du cours.

Horaire Hebdomadaire

1. 08/26. Introduction au cours et rappels mathématiques. [diapos fr]
   • Lecture obligatoire: Prologue to The Master Algorithm
   • Lecture suggérée: Chapter 1 de [ESL]
   • Rappel mathématique des chapitres 2 et 3 du livre [DL]
     • Voir d'autres suggestions de ressources (page en anglais)
2. 09/02. Les fondements de l'apprentissage automatique
   • Lectures obligatoires: Chapitre 5 du livre [DL]. Vous pouvez survoler les sections 5.4 (sauf 5.4.4) à 5.10.
   • Capsules: [diapos]
     1. Learning Problem [14:40]
     2. Types of Experiences [13:15]
     3. A first Supervised Model [8:03]
     4. Model Evaluation [15:26]
     5. Regularization [4:09]
     6. Model Validation [3:08]
     7. Bias / Variance tradeoff [11:50]
   • Matériel pour la classe:
     • Résumé fr
     • Exercices fr (colab)
3. 09/09. Modèles d'apprentissage supervisé
   • Références:
     Sections 4.1-4.3, 4.5 du livre [ESL],
     Sections 3.5 et 4.2 du livre [ML-Murphy]
   • Capsules: [diapos]
     1. Nearest Neighbor [19:05]
     2. Linear Classification [15:26]
     3. Introduction to Probabilistic Models (for Classification) [11:55]
     4. The Naive Bayes Model [24:28]
     5. Naive Bayes Example [9:26]
   • Matériel pour la classe:
     • Résumé fr
4. 09/16. Python pour la programmation scientifique et pour l'apprentissage automatique [Séance pratique]
   • Le tutoriel à suivre sera disponible ici.
   • Je vous recommande de démarrer le tutoriel la semaine avant le cours et de le terminer pendant le cours.
5. 09/23. Réseaux de neurones et apprentissage profond
   • Lectures obligatoires: Sections 6.1--6.3 et 6.5 (arrêtez à 6.5.4) du livre [DL]
   • Autre référence: Chapitre 11 du livre [ESL].
   • Capsules: [diapos]
     1. From linear classification to neural networks [19:28]
     2. Training neural networks [20:14]
     3. Learning representations [13:40]
     4. Neural networks hyperparameters [25:20]
     5. Neural networks takeaways [7:00]
   • Matériel pour la classe:
     • Résumé
6. 09/30. Pas de cours (Journée nationale de la vérité et de la réconciliation)
7. 10/07 Réseaux de neurones récurrents et réseaux de neurones à convolutions
   • Lectures obligatoires: Sections 10, 10.1, 10.2 (survoler 10.2.2, sauter 10.2.3) et 10.7. Sections 9, 9.1, 9.2, 9.3 (9.11 pour le plaisir). Les deux venant de Deep Learning (le livre).
   • Capsules: [diapos]
     1. Modelling Sequential Data [8:42]
     2. Practical Overview of RNNs [29:32]
     3. RNNs for language modelling [15:13]
     4. Overview of CNNs [13:30]
     5. Convolutions and Pooling [26:00]
     6. Conclusions and Practical remarks [9:17]
   • Matériel pour la classe:
     • Résumé fr
8. 10/14. Apprentissage Non supervisé
   • Lectures obligatoires: Section 14.3 (sauf 14.3.5 et 14.3.12) du livre [ESL]
   • Capsules: [diapos]
     1. Introduction to unsupervised learning [8:17]
     2. K-means clustering [41:58] (cette capsule est plus longue, mais il y a une pause naturelle à 22:28)
     3. GMMs for clustering [17:52]
     4. Beyond Clustering [14:42]
   • Matériel pour la classe:
     • Résumé
9. 10/21. Semaine d'étude (pas de cours)
10. 10/28. Rencontre en équipe à propos du projet (séance virtuelle)
11. 11/04. Attention et Transformeurs
    • Cette séance ne sera pas donnée en pédagogie inversée.
    • Référence optionelle: An Introduction to Transformers (en anglais)
    • Diapos
12. 11/11. Les transformeurs en pratique
    • Cette séance ne sera pas donnée en pédagogie inversée.
    • Lecture complémentaire: An Introduction to Transformers (en anglais)
    • Diapos (en anglais)
13. 11/18. Systèmes de recommandations
    • Obligatoire: Présentation du cas et déroulement de la séance (réponse à la Question 1 à remettre la veille du cours au plus tard)
      • Diapos utilisées pendant la séance
    • Référence (facultative): Tutoriel sur la factorisation de matrice
14. 11/25. Modèles génératifs modernes
    • Cette séance ne sera pas donnée en pédagogie inversée.
    • Diapos
15. 12/02. Présentations des projets

Évaluations

1. Devoir (15%)
   • Disponible début octobre.
2. Projet (30%)
   • Date de remise: plan d'étude fin octobre, rapport final mi-décembre (dates exactes à confirmer).
   • Instructions
3. Présentation du projet (10%)
   • Lors de la dernière séance (2 décembre)
   • Instructions
4. Examen final (30%)
   • Date: mercredi 9 décembre, Heure: 13h30--16h30, Salle: à déterminer.
   • Documentation permise: une feuille de notes recto-verso (format 8.5 x 11) et une calculatrice.
   • Matière à examen: tout ce que l'on a vu en classe ainsi que les lectures obligatoires
   • Examens précédents: Automne 2018 (en anglais), Automne 2020 (Solutions en anglais)
5. Quiz (15%)
   • De courts quiz (5--10 minutes) auront lieu au début de la séance, à un rythme à peu près hebdomadaire (six quiz au total).
   • Vos cinq meilleurs résultats compteront pour votre note finale (3% chacun).

Références

1. The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Second Edition Hastie, Trevor, Tibshirani, Robert, Friedman, Jerome, 2009 [ESL]
2. Deep Learning. Ian Goodfellow, Yoshua Bengio and, Aaron Courville. [DL]
3. Reinforcement Learning : An Introduction Hardcover. Richard S. Sutton, Andrew G. Barto. A Bradford Book. 2nd edition [RL-Sutton-Barto]
4. Machine Learning. Kevin Murphy. MIT Press. 2012. [ML-Murphy]
5. Recommender Systems Handbook, Ricci, F., Rokach, L., Shapira, B., Kantor, P.B. 2011. [RSH]
6. Data Algorithms : Recipes for Scaling Up with Hadoop and Spark 1st Edition. Mahmoud Parsian. O'Reilly. 2015 [DA]
7. Python for Data Analysis : Data Wrangling with Pandas, NumPy, and IPython. Wes McKinney. O'Reilly. 2012 [PDA]
8. Pattern Recognition and Machine Learning. Christopher Bishop. 2006 [PRML]
9. Advanced Analytics with Spark. O'Reilly. Second Edition. 2017