#llm
8 articles about llm
Filtrer par thème
Épisode 0 : Pourquoi coder les LLM from scratch
Comprendre comment fonctionnent les LLM sans doctorat en mathématiques : la promesse de la série, ce que tu vas apprendre, et l'idée qui relie tous les épisodes.
Épisode 1 : L'Attention, c'est juste 4 opérations mathématiques
Derrière les Transformers et le mécanisme d'attention, il n'y a que quatre opérations simples : multiplication matricielle, transposition, scaling et softmax. Les voici, en Rust.
Épisode 2 : Q, K, V — Pourquoi 3 matrices et pas une seule ?
Query, Key, Value : pourquoi les vrais modèles projettent chaque mot dans trois espaces différents, et comment cette séparation des rôles rend l'attention plus fine.
Épisode 3 : Embeddings — Absolus au départ, contextuels à l'arrivée
Un embedding, c'est le mot dans l'absolu ou dans son contexte ? Les deux, à des moments différents. Plus les trois détails d'ingénierie autour de l'attention : multi-head, masking et position encoding.
Épisode 4 : Le Transfer Learning — Réutiliser un savoir existant
Pourquoi personne n'entraîne un modèle à partir de zéro : d'où vient le transfer learning, ce qu'il fait gagner, et ses trois stratégies — feature extraction, fine-tuning et LoRA.
Épisode 5 : Les concepts clés autour du Transfer Learning
Pré-entraînement, fine-tuning, oubli catastrophique, freezing, domain shift et learning rate : les notions du transfer learning qu'on entend souvent, expliquées simplement avec une analogie pour chacune.
Épisode 6 : Embeddings et bases vectorielles
Des mots-clés au sens : comment les embeddings et la similarité cosinus permettent de chercher par proximité, pourquoi il faut une base vectorielle, et comment tout s'assemble en un RAG.
Des messages de commit par IA sans céder le contrôle de ton historique git
L'outillage git dopé à l'IA prend deux formes : une zone de texte d'où l'on copie, ou un agent qui exécute des commandes et prévient après coup. Il existe une troisième voie, et tout tient à l'endroit où se situe la validation.