Quatre filets, du plus sûr au plus faillible
| Filet | Ce qu’il repère | Ce qu’il garantit |
|---|---|---|
| Clé de contrôle | IBAN (mod 97), SIRET et SIREN (Luhn), numéro de TVA intracommunautaire français, numéro de sécurité sociale (clé à deux chiffres) | Un montant, une date ou un numéro de facture ne passe pas le contrôle : aucun faux positif sur ces formats. |
| Format | Adresses e-mail, numéros de téléphone français | Reconnaissance exacte de la forme, sans IA. |
| Contexte | Nom précédé d’une civilité (« Maître Sophie Berthier »), adresse postale avec voie numérotée et code postal d’un département existant | Une présomption, pas une certitude : elle porte un badge distinct à l’écran. |
| IA (Mistral Large) | Noms sans civilité, raisons sociales, dates de naissance, adresses atypiques | Lit le texte comme un humain. Peut manquer ou retirer de trop : d’où la validation. |
Les deux premiers filets ne dépendent pas du modèle : ce que l'IA laisse passer, ils le rattrapent et l'ajoutent à la liste des détections. Au moment de l'export, un dernier contrôle rejoue ces filets sur le texte exact qui sera livré et signale les types et volumes encore présents, jamais les valeurs elles-mêmes.
Le relevé du 20 septembre 2026
Treize documents, analysés par le modèle mistral-large-latest. Dix ont été écrits pour faire échouer la détection : noms nus en milieu de phrase, noms qui sont aussi des villes (Nancy, Denis, Laval), raisons sociales faites de mots communs, particules, entité coupée par un retour à la ligne, tableaux, en-têtes d'e-mail. Quinze sont des textes publics repris tels quels : deux délibérations de sanction de la CNIL et treize arrêtés publiés au Journal officiel, choisis pour leurs signatures difficiles — initiales seules (« A. JULLIAN »), particules (« E. LE HARIVEL DE GONNEVILLE »), noms sans civilité, et un prénom qui est aussi un patronyme (« Claire JEAN »).
| Mesure | Résultat | Ce que ça veut dire |
|---|---|---|
| Rappel | 154 sur 154 | Aucune valeur qui devait disparaître n’est restée dans le texte livré, sur cinq passages successifs. |
| Documents sans aucune fuite | 25 sur 25 | Un rappel de 99 % réparti sur tous les documents ne vaut pas le même risque qu’un document entièrement raté : on publie donc aussi le compte par document. |
| Sur-caviardage | 8 sur 131 références à préserver | Deux références qui devaient rester lisibles ont été retirées. |
| Détections non appliquées | 0 | Des valeurs que le modèle propose et que le moteur refuse de traiter — des initiales, trop courtes pour être remplacées sans tout emporter. Elles sont désormais signalées à l’écran au lieu de rester cochées sans effet. |
| Durée | 2,9 s par document | Corpus de documents courts ; les durées sur de vrais PDF figurent plus bas. |
Pourquoi deux chiffres et pas un
Un outil qui caviarde tout obtient un rappel parfait et rend le document inexploitable. Le rappel mesure les fuites, le sur-caviardage mesure les dégâts : l'un sans l'autre ne dit rien.
| Nature de la donnée | Attendues | Restées en clair |
|---|---|---|
| Identifiant de personne physique | 124 | 0 |
| Identifiant d’entreprise | 30 | 0 |
La distinction n'est pas cosmétique : c'est elle qui décide si une fuite relève du RGPD. Laisser passer une raison sociale est un manquement à la confidentialité ; laisser passer le nom d'une personne, son adresse ou son numéro de sécurité sociale est une fuite de donnée personnelle. Les deux comptent, pas de la même façon.
Les deux sur-caviardages relèvent du même cas : « Institut supérieur de l'aéronautique et de l'espace » et « École nationale de l'aviation civile », cités dans un acte administratif, ont été retirés comme s'il s'agissait d'entreprises. Le modèle ne distingue pas encore une institution publique citée d'une société partie au dossier. Ce n'est pas une fuite, et une case à décocher suffit ; mais sur un acte administratif, c'est le nom de l'organisme qui disparaît.
Ce qui varie d’un passage à l’autre
Un modèle de langage ne rend pas exactement la même liste d’un appel à l’autre, même à température basse. Publier le résultat d’un seul passage reviendrait à choisir son chiffre. Le banc a donc été passé 5 fois sur le même corpus, et voici ce qui a bougé.
| Mesure | Sur les cinq passages |
|---|---|
| Valeurs restées en clair | 0 sur les 5 passages |
| Références retirées à tort | entre 4 et 9 selon le passage |
| Analyses échouées (panne passagère) | 2 sur 125 analyses, sur un document différent à chaque fois |
Le rappel est la seule mesure qui n’a pas bougé. Les retraits à tort, eux, varient du simple au double — et les huit du passage publié sont tous le même cas : un organisme public français pris pour une entreprise (Cour des comptes, direction générale du Trésor, École nationale de l’aviation civile). Nous avons tenté de le corriger par la consigne donnée au modèle ; la mesure dit que ça ne suffit pas. Ce n’est pas une fuite, une case à décocher suffit — mais sur un acte administratif, c’est le nom de l’organisme émetteur qui disparaît.
Deux défauts trouvés par cette mesure, et corrigés
Le banc a débusqué une fuite silencieuse que nous ne soupçonnions pas : quand le texte extrait d’un PDF a perdu ses accents et que le modèle, lui, écrit le mot correctement, la valeur devenait introuvable et rien n’était retiré, sans le moindre signal. La correspondance tolère désormais l’accent dans les deux sens. Il a aussi montré que le numéro SIREN à neuf chiffres, pourtant annoncé sur cette page, n’était couvert par aucun filet.
Où le résultat tient tout seul, et où il dépend du modèle
Un rappel de 100 % ne dit pas grâce à quoi. Un IBAN reconnu par sa clé de contrôle ne peut pas se perdre au prochain changement de modèle ; un nom reconnu par le modèle, si. Nous avons donc mesuré la même chose une seconde fois, en coupant l'IA : seuls les filets déterministes et contextuels tournent, sans le moindre appel réseau. Ils retrouvent 82 des 154 valeurs en 414 millisecondes pour les 25 documents.
| Type de donnée | Attendues | Restées en clair | Retrouvées sans l’IA | Par quel moyen |
|---|---|---|---|---|
| Nom de personne | 83 | 0 | 36 sur 83 (43 %) | Civilité (présomption) |
| Nom d’entreprise | 22 | 0 | 0 | — |
| Adresse postale | 14 | 0 | 13 sur 14 (93 %) | Voie + code postal (présomption) |
| Téléphone | 12 | 0 | 12 sur 12 (100 %) | Format français |
| Adresse e-mail | 11 | 0 | 11 sur 11 (100 %) | Format |
| SIRET et SIREN | 6 | 0 | 6 sur 6 (100 %) | Luhn |
| Date de naissance | 2 | 0 | 0 | — |
| Sécurité sociale | 2 | 0 | 2 sur 2 (100 %) | Clé 97 |
| TVA intracommunautaire | 1 | 0 | 1 sur 1 (100 %) | Luhn + clé |
| IBAN | 1 | 0 | 1 sur 1 (100 %) | Mod 97 |
- Ce qui ne dépend pas du modèle : IBAN, numéro de sécurité sociale, SIRET, SIREN, TVA, téléphone et e-mail sont retrouvés à 100 % sans aucune IA. Ce sont des formats à clé de contrôle : leur reconnaissance est une vérification arithmétique, pas une opinion.
- Ce qui en dépend en partie : les adresses postales (13 sur 14) et un peu moins de la moitié des noms de personnes — ceux qui sont précédés d'une civilité. C'est une présomption fondée sur le contexte, signalée comme telle à l'écran.
- Ce qui en dépend entièrement : les raisons sociales et les dates de naissance, retrouvées zéro fois sans l'IA. Une date de naissance ressemble à n'importe quelle date, et une raison sociale à n'importe quel groupe de mots. Aucune règle ne peut les distinguer sans lire la phrase.
Ce que ça change pour vous
Si le modèle tombe, se dégrade ou renvoie n'importe quoi, plus de la moitié des données du corpus reste couverte — dont la totalité des identifiants bancaires, fiscaux et sociaux. Ce n'est pas un filet de sécurité suffisant, et c'est précisément pour ça que la validation avant export n'est pas une option.
Ce décompte a lui-même corrigé deux défauts le jour où il a été mis en place. Les identifiants de notre corpus étaient inventés sans respecter leurs propres clés de contrôle : le filet arithmétique ne pouvait donc pas les reconnaître, et la mesure créditait le modèle d'un travail qu'il n'aurait pas eu à faire sur un vrai document. Et le SIREN à neuf chiffres, qui est la forme qu'on lit dans un contrat, n'était tout simplement pas couvert par le filet, alors que cette page l'annonçait. Les deux sont corrigés ; les chiffres ci-dessus sont postérieurs à la correction.
Durées mesurées en production
| Document | Premières détections | Résultat complet |
|---|---|---|
| 20 pages | 0,3 s pour les filets sans IA, 5,2 s pour le premier extrait analysé par l’IA | 24,3 s |
| 30 pages | Affichées au fil de l’analyse | 31,0 s, puis 33,6 s pour un second document enchaîné |
Le document est découpé page par page et analysé en extraits parallèles ; les détections s'affichent au fur et à mesure, mais seul le résultat complet ouvre l'export. Au-delà de 30 pages, c'est le quota de l'API Mistral qui borne, pas le modèle : un document de 50 pages a échoué en enchaînant. D'où la limite de 30 pages par document, mesurée et non choisie.
Ce que ces chiffres ne prouvent pas
- Treize documents ne sont pas un échantillon. Aucune statistique générale ne peut en être tirée.
- Les dix documents écrits en interne contiennent des pièges que nous connaissions. Un corpus conçu par ceux qui construisent l'outil ne peut pas les surprendre ; c'est pour cela que des textes publics ont été ajoutés, et que la mesure doit s'étendre à des documents réels.
- Un rappel parfait sur ce corpus ne garantit rien sur vos documents. C'est la raison d'être de l'étape de validation : rien ne part sans que vous ayez vu ce qui est retiré.
- La mesure est datée. Elle vaut pour le moteur et le modèle du 3 septembre 2026 ; chaque nouvelle mesure sera publiée avec sa propre date.
Pourquoi le fichier livré ne peut pas trahir
Un rectangle noir posé sur un PDF ne supprime pas le texte qu'il recouvre : il reste souvent sélectionnable, copiable, ou présent dans un calque. BlinDoc ne masque pas le document d'origine : il reconstruit un PDF neuf à partir du texte caviardé. Les valeurs retirées n'existent donc dans le fichier livré sous aucune forme.
La contrepartie est assumée : la mise en page d'origine n'est pas reproduite à l'identique. Titres, listes, tableaux et sauts de page sont restitués ; la typographie et la position exacte des blocs ne le sont pas.
Chaque personne ou entité garde le même repère dans tout le document ([NOM_1] reste [NOM_1] de la première à la dernière page), et le rapport de caviardage recompte côté serveur les éléments retirés : il ne recopie pas un compteur fourni par le navigateur.