Outils
Échantillonnage LLM
Une distribution de tokens candidats, et les quatre réglages qui la transforment avant le tirage. Bougez la température et regardez l'écart entre candidats s'ouvrir ou se refermer, coupez avec top-k ou top-p, puis tirez cent échantillons pour comparer la fréquence observée à la probabilité théorique. Tout est calculé dans le navigateur, aucun modèle n'est appelé.
Le modèle produit un score brut (un logit) par token du vocabulaire. Les réglages ci-dessous transforment ces scores en probabilités, puis en coupent une partie. Le tirage se fait ensuite dans ce qu'il reste.
Divise chaque logit avant le softmax. En dessous de 1 l'écart entre candidats se creuse et le meilleur domine ; au-dessus de 1 la distribution s'aplatit et les outsiders ont une vraie chance. À 0 le modèle prend toujours le premier token.
Ne garde que les k candidats les plus probables et jette le reste, quelle que soit leur probabilité. Une coupe brutale : le même k est trop serré sur une étape ambiguë et trop large sur une étape évidente.
Garde le plus petit groupe de candidats dont les probabilités cumulées atteignent p. S'adapte à l'étape : quand le modèle est sûr, il en garde un ou deux ; quand il hésite, il en garde beaucoup. C'est celui que la plupart des gens devraient régler.
Écarte tout ce qui passe sous cette fraction du meilleur candidat. À 0,1, un token doit avoir au moins un dixième de la probabilité du leader pour survivre. Une alternative récente au top-p, qui se tient mieux à haute température.
Candidats gardés
12 / 12
Le plus probable
Paris
96.3 %
Entropie
0.32 bits
quasi déterministe
Tirages
0
aucun pour l'instant
- ␣Paris96.3%
- ␣the1.6%
- ␣located0.8%
- ␣a0.5%
- ␣home0.3%
- ␣known0.2%
- ␣one0.1%
- ␣situated0.1%
- ␣Lyon0.0%
- ␣Marseille0.0%
- ␣Berlin0.0%
- ␣potato0.0%
Les probabilités sont renormalisées sur les survivants, ce dans quoi le tirage se fait réellement. Poussez la température au-delà de 1,5 et regardez « potato » devenir une possibilité crédible.