Le problème

Tu demandes à un modèle de chat combien de r il y a dans « strawberry ». Il répond 2. Une minute plus tard, le même modèle t’écrit une migration SQL qui marche.

Le modèle n’a jamais vu les dix lettres. Le tokenizer de GPT-4 (cl100k_base dans tiktoken) transforme " strawberry" en un seul entier, 73700. Pour compter les lettres de ce nombre, le modèle doit se souvenir d’une orthographe qu’on ne lui a jamais montrée directement.