Bancs d'essai de Pryzm Memory : méthode, résultats et points faibles

1. Recherche sur un jeu synthétique

Première course le 2 octobre 2026 ; moteur v3 mesuré à partir du 3 octobre 2026.

Question : quand une question arrive, la recherche de Pryzm renvoie-t-elle le souvenir utile, et à quel rang ? Aucun modèle de langue n'intervient : on mesure « retrouver », pas « répondre ».

Méthode : un personnage fictif (une freelance cofondatrice d'un SaaS fictif), aucune donnée réelle. 93 souvenirs « cœur » et 1 907 distracteurs générés par gabarits (72 % en français, 28 % en anglais), qui partagent du vocabulaire avec les réponses sans y répondre. 223 questions : 135 simples (paraphrases en français, autre langue, formulation indirecte, identifiants exacts), 24 qui demandent deux souvenirs, 24 sur un fait qui a changé, 40 sans réponse. Mémoires de 100 à 2 000 souvenirs. Intervalles de confiance : bootstrap percentile, 2 000 tirages sur les questions ; comparaisons appariées (mêmes questions). Références : recherche par mots-clés seule (BM25) et recherche sémantique seule avec le même modèle (e5-small).

La ligne v3 vient de la course de production publiée, qui ne donne que R@1 et R@5.

Face à la recherche par mots-clés, le moteur d'origine gagne +0,165 (+0,089 à +0,237) de MRR, surtout quand la question n'est pas dans la langue du souvenir. Face à la recherche sémantique seule avec le même modèle, il gagnait +0,022 (−0,035 à +0,075) : différence non significative. Le moteur v3 fait mieux sur ce point (+0,085 (+0,030 à +0,140) sur le même jeu).

Le v3 ayant été réglé sur ce jeu, il a ensuite été vérifié une seule fois sur un second jeu, généré avant le réglage avec d'autres gabarits, dont les questions n'avaient jamais été vues :

Coller ses notes à la place : avec un texte fixe des souvenirs les plus récents (20 000 caractères), tous les souvenirs utiles sont présents pour 100 % des questions à 100 souvenirs, mieux que les 5 premiers résultats de Pryzm (78 % (72–84 %)). À 2 000 souvenirs, on tombe à 26 % (20–33 %), quand les 5 premiers résultats de Pryzm tiennent 64 % (58–71 %) (moteur d'origine). Ce texte fixe est une approximation d'une mémoire résumée, pas le fonctionnement réel de ChatGPT ou de Claude.

Là où Pryzm perd :

• Les faits qui ont changé : avec le moteur d'origine, l'ancienne version sortait en tête 71 % du temps. Le moteur v3 place le fait à jour devant l'ancien 79 % du temps sur ce jeu, 71 % sur le jeu de contrôle.
• Les questions qui demandent deux souvenirs : 8 % complètes dans les 5 premiers avec le moteur d'origine ; 67 % avec le v3 sur ce jeu, 42 % sur le jeu de contrôle.
• Les questions sans réponse : la recherche ne dit jamais « rien trouvé » (0 sur 40). Un signal « rien de fiable » a été essayé puis écarté : 28 % de fausses alertes sur le jeu de contrôle.
• La vitesse : le temps de recherche au 95e centile allait de 550 à 835 ms selon la course, sur un serveur partagé avec la production. Il manque notre objectif et ne constitue pas une garantie de service.

2. LoCoMo, un banc public

Course du 4 octobre 2026, réglages du moteur de production.

Question : sur un jeu que nous n'avons pas écrit, la preuve revient-elle ? LoCoMo contient 10 longues conversations entre deux personnes ; chaque question indique les répliques qui contiennent la réponse. Chaque réplique devient un souvenir daté (5 882 souvenirs) ; on vérifie si les répliques de preuve figurent dans les résultats de Pryzm. Catégories 1 à 4 (1 532 questions) ; la catégorie « adversariale » est exclue, comme d'habitude. Aucun modèle de langue.

Pryzm fait mieux que les deux références dans chaque catégorie ; sur les questions de connaissances générales, l'échantillon est petit et les intervalles se recouvrent. Les questions à plusieurs passages et de connaissances générales restent faibles.

Ces chiffres ne se comparent pas aux scores « J » que publient d'autres mémoires sur LoCoMo : ceux-là notent une réponse écrite puis jugée par des modèles de langue. Ici, seule la recherche est mesurée.

3. Fiabilité : ce qui fait foi, et « rien n'a été décidé »

Mesuré les 10 et 11 octobre 2026.

Question : quand les notes contiennent un ancien montant, une proposition jamais validée et la décision finale, l'IA répond-elle avec ce qui fait foi ? Et quand rien n'a été décidé, le dit-elle au lieu de combler le trou ?

Méthode : 60 scénarios fictifs en 8 familles (ancien → proposition → décision, décision révisée, jamais tranché, jamais abordé, annulation…), trois questions chacun. Réglages faits sur 26 scénarios ; les chiffres ci-dessous viennent d'une part de test écrite après : 16 scénarios, 5 projets jamais vus, 48 questions, mesurés une seule fois. Claude Sonnet, sans outil, reçoit soit toutes les notes du projet, soit la réponse de la recherche Pryzm ; deux répétitions, 96 réponses par condition. Correction par règles, puis par un juge Claude Haiku pour les cas indécis ; 30 jugements contrôlés à la main, 28 concordants.

Sur les sujets jamais tranchés ou jamais abordés (24 réponses par condition), aucune réponse inventée, dans toutes les conditions. Dans la recherche elle-même, la version qui fait foi sort en tête 75 % / 72 % du temps (300 / 1 500 souvenirs), contre 44 % avant.

Limites : données fictives et courtes ; avec 96 réponses par condition, un écart de 5 points reste fragile. Un seul modèle répondeur. « Jamais abordé » n'est pas détecté par le moteur : c'est l'IA qui le dit, à partir des résultats et des consignes de l'outil.

4. Tokens : une mémoire ou toutes ses notes

Mesuré le 11 octobre 2026.

Question : à justesse égale, brancher une mémoire fait-il lire moins de tokens à l'IA que coller tout le fichier de notes dans la conversation ?

Méthode : souvenirs longs et fictifs, comme ceux qu'écrit une IA (672 caractères en moyenne). Part de test écrite après les réglages : 4 projets jamais vus, 128 souvenirs, 32 questions, avec 256 autres souvenirs en bruit (384 en tout), mesurée une seule fois. Claude Sonnet, sans outil, deux répétitions : 64 réponses par condition. Tokens d'entrée : ceux que facture le modèle pour la question (consigne + notes reçues).

Limites : brancher Pryzm ajoute 6 730 tokens fixes à chaque conversation (descriptions des outils et consignes, mesurés dans Claude Code) ; l'économie dépend donc de la taille des notes qu'on collait avant : avec un petit fichier de notes, le coller peut coûter moins cher. Un seul modèle répondeur ; avec 64 réponses par condition, un écart de 3 points reste fragile. Les résultats de recherche ont ensuite gagné quelques champs (+4 % de sortie, non re-mesuré au niveau des réponses).

5. La mémoire intégrée de l'IA

Mesuré le 13 octobre 2026.

Question : la mémoire propre de Claude ou de ChatGPT gêne-t-elle Pryzm ?

Méthode : Claude Sonnet avec un serveur Pryzm de test qui expose les vrais outils et consignes, souvenirs fictifs. 44 messages en quatre groupes, deux répétitions : 88 conversations par configuration. La mémoire intégrée est simulée par un résumé de conversations passées ajouté à la conversation, volontairement périmé sur un fait ; une réponse est périmée quand elle cite l'ancienne valeur (8 vérifications par configuration).

Mémoire intégrée activée, l'IA répond à partir de son propre résumé, plus ancien, au lieu de consulter Pryzm. Coller les consignes de Pryzm limite les dégâts sans les supprimer : c'est pourquoi le guide de connexion demande de couper la mémoire intégrée. Limites : une simulation (les vraies applis injectent leur mémoire autrement), un seul modèle, un petit échantillon.