Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 2 - Large Language Models

Item: Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 2 - Large Language Models
Rating: 5
Author: PostSingularity Institute

CME 295 cours 2

par Afshine Amidi et Shervine Amidi · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative

🎙 Afshine Amidi et Shervine Amidi 👥 1.3M 📅 9 octobre 2026 ⏱ 103 min 👁 43K 📄 vulgarisation 🧭 2026-10-15

Disponible en : Français (actuel) English

Mots-clés

LLMTransformerBERTGPTMoE

Résumé

Ce cours de Stanford CME295, seconde leçon, explore l’architecture des grands modèles de langage (LLM). Après un rappel des transformateurs, il présente les deux grandes familles : les modèles encodeur-seulement comme BERT, qui calculent des représentations contextuelles et nécessitent un fine-tuning, et les modèles décodeur-seulement comme GPT, qui abordent toutes les tâches comme des problèmes texte-à-texte. L’importance des lois d’échelle est soulignée, montrant le compromis entre taille du modèle, nombre de tokens et budget de calcul, avec la loi de Chinchilla qui recommande un ratio d’environ 20 tokens par paramètre. La notion de mixture of experts (MoE) est introduite pour activer sélectivement des sous-réseaux, avec des discussions sur la router et le collapse de routage. Les embeddings positionnels, dont RoPE, et les mécanismes d’attention comme Sliding Window et Group Query Attention sont détaillés. Les différences entre pre-norm et post-norm, LayerNorm et RMSNorm sont expliquées. La prédiction du prochain jeton, le prompting, le phénomène de context rot et le Chain of Thought sont aussi couverts, ainsi que des stratégies d’inférence comme le décodage autoregressif.

173 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

Le cours est d’une grande valeur pédagogique. Il explique non seulement les concepts mais aussi les motivations historiques et les compromis pratiques. L’argumentation est solide, appuyée sur des résultats de recherche publiés (lois d’échelle, Chinchilla). Le professeur répond aux questions des étudiants, ce qui illustre une compréhension interactive et renforce la clarté des explications. La distinction entre BERT et GPT est bien présentée, et les avantages/inconvénients sont discutés. La partie sur MoE est particulièrement bien amenée avec l’analogie des experts humains. La rigueur est évidente dans les définitions précises (FLOPs vs FLOPS) et les références à des travaux spécifiques.

Rigueur scientifique, qualité des sources, adéquation du titre

Les sources mentionnées incluent les articles fondateurs sur les transformateurs, BERT, GPT, les lois d’échelle, et Chinchilla. Le cours s’appuie sur des travaux académiques reconnus. La description fournit des liens vers le syllabus et le programme, mais pas directement vers les articles cités, ce qui est courant pour un cours en ligne. Le titre est parfaitement adéquat au contenu : il s’agit bien d’une leçon sur les LLM et les transformateurs. La qualité des sources est élevée. Aucune incompatibilité entre contenu et titre. Les commentaires ne sont pas disponibles dans cette analyse, donc pas de tendance du public à mentionner.

214 mots

Adéquation titre / contenu

Le titre correspond parfaitement au contenu : il s'agit bien d'un cours sur les transformateurs et les grands modèles de langage, deuxième leçon de la série.

Qualité & fiabilité

9/10

Cours universitaire de Stanford, animé par deux professeurs adjoints, basé sur des références académiques reconnues, avec une structure pédagogique claire et des explications précises.

Chapitres

Sources citées

Syllabus du cours CME295 — Lien vers le programme officiel du cours, mentionné dans la description.
Stanford Online Graduate Education — Lien vers les programmes diplômants de Stanford, cité dans la description.
Playlist de la série de cours CME295 — Playlist YouTube contenant les autres leçons, mentionnée dans la description.

Apport & nouveautés

Ce cours offre une introduction claire et structurée aux LLM, en expliquant les compromis architecturaux et les choix de conception. Son originalité réside dans la synthèse de nombreuses avancées récentes en un seul exposé cohérent, avec des analogies pédagogiques efficaces. Il met en lumière les évolutions récentes comme RoPE, GQA, et MoE, ce qui le rend pertinent pour l’état de l’art actuel.

Pour aller plus loin :

Attention is All You Need — L’article fondateur des transformateurs.
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding — Le papier original de BERT.
Scaling Laws for Neural Language Models — Étude des lois d’échelle.
Training Compute-Optimal Large Language Models — L’article de Chinchilla sur le ratio optimal paramètres/tokens.

117 mots

Profil radar

Le profil radar montre des scores élevés et homogènes (9/10) dans toutes les dimensions, indiquant une excellente qualité d'information, une fiabilité exemplaire et un niveau technique soutenu. La seule légère faiblesse pourrait être la quantité d'information pour un cours relativement court, mais elle reste très satisfaisante.

Fiabilité 9/10