Méthode de nettoyage : règles, valeurs par défaut et limites

Présente les règles mises en œuvre, les valeurs par page, les risques, des exemples reproductibles et les limites.
Sep 5, 2026

Fonctionnement du nettoyeur local

Le nettoyeur local HumanFlow transforme le texte au moyen de règles déterministes portant sur les caractères et les motifs. À entrée, ensemble de règles activées et options de tiret identiques, le moteur produit la même sortie et la même liste ordonnée de changements ; il ne demande pas à un modèle linguistique d’inférer le sens. Chaque changement enregistre l’identifiant et la catégorie de la règle, les plages source et sortie, la valeur supprimée, la valeur de remplacement, les renseignements Unicode pertinents et le caractère destructif ou non de la règle.

Les réglages sûrs par défaut ciblent des artefacts de mise en forme qui n’expriment généralement pas de mots : contrôles invisibles pris en charge, espaces insécables, tabulations, espaces horizontales répétées, espaces en fin de ligne et lignes vides excessives. Les règles facultatives peuvent modifier Markdown ou la ponctuation ; elles sont donc désactivées par défaut dans le nettoyeur général de texte IA.

Registre des règles

Les valeurs par défaut du tableau proviennent du registre des règles du moteur. Les préréglages de page peuvent les remplacer ; les paramètres réellement appliqués à la page d’accueil et aux outils spécialisés de chaque locale sont indiqués dans le tableau inséré ci-dessous.

Identifiant de règleValeur par défaut du moteurRisqueComportement implémenté
hidden-unicodeActivéePlus sûre, à vérifierSupprime les contrôles C0/C1 pris en charge, les caractères de largeur nulle, marques directionnelles, séparateur de mots et BOM ; conserve les sauts de ligne ordinaires et les tabulations.
normalize-nbspActivéePlus sûre, à vérifierRemplace U+00A0 NO-BREAK SPACE par U+0020 SPACE.
normalize-tabsActivéePlus sûre, à vérifierRemplace les tabulations par des espaces ordinaires.
collapse-spacesActivéePlus sûre, à vérifierRéduit les séries d’espaces horizontales répétées ou de NBSP à un espace ordinaire.
trim-trailing-whitespaceActivéePlus sûre, à vérifierSupprime les espaces et tabulations en fin de ligne.
collapse-blank-linesActivéePlus sûre, à vérifierRéduit toute série de plus d’une ligne vide à une seule ligne vide.
remove-markdown-headingsDésactivéeDestructriceSupprime les dièses initiaux des titres Markdown tout en conservant leur texte.
remove-markdown-emphasisDésactivéeDestructriceSupprime les marqueurs d’emphase en astérisques.
remove-markdown-code-fencesDésactivéeDestructriceSupprime les lignes de clôture à trois accents graves et conserve le contenu du bloc.
remove-markdown-linksDésactivéeDestructriceRemplace un lien Markdown en ligne par son texte d’ancrage visible et supprime sa cible.
normalize-smart-quotesDésactivéeDestructriceRemplace les apostrophes et guillemets typographiques par des guillemets ASCII.
replace-em-dashDésactivéeDestructriceRemplace U+2014 par le trait d’union, l’espace, le point ou la sortie vide sélectionnés.
replace-en-dashDésactivéeDestructriceRemplace U+2013 indépendamment par la sortie sélectionnée.

« Plus sûre » ne signifie pas adaptée à tous les documents. Tabulations et espaces répétés peuvent coder une indentation ou l’alignement d’un tableau ; les liants de largeur nulle et marques directionnelles peuvent avoir un sens dans des textes multilingues. Chaque règle reste sélectionnable séparément, et Annuler restaure l’entrée originale conservée dans l’état du navigateur.

Chevauchements et ordre des changements

Le moteur recueille d’abord les modifications proposées sur le texte d’origine, les trie selon la position source et la priorité des règles, puis rejette les modifications de priorité inférieure qui se chevauchent. Il construit ensuite la sortie de gauche à droite et enregistre les plages de sortie après chaque remplacement accepté. Cela évite que plusieurs règles modifient deux fois la même portion source et stabilise les plages source pour la vérification.

Par exemple, une suite d’espaces insécables peut correspondre à la fois à la règle des espaces répétés et à celle d’un NBSP isolé. Le moteur accepte le remplacement de la suite, prioritaire, et ignore les remplacements de caractères isolés qui se chevauchent. Une seule transformation est ainsi signalée pour cette portion source, sans modifications contradictoires.

Exemples reproductibles

Le corpus de tests du dépôt couvre une entrée vide, de la prose propre, de l’Unicode mixte, Markdown, la ponctuation, du texte multilingue, du code, du JSON et un grand document déterministe. D’autres cas vérifient les plages source et sortie exactes, l’identification nommée de U+200B, la normalisation des tabulations, la conservation du contenu des blocs de code, celle du texte d’ancrage des liens Markdown et chaque préréglage d’outil spécialisé.

Un exemple minimal est A[U+200B]B[U+00A0]C. Avec les réglages sûrs, la sortie attendue est AB C. Une phrase propre contenant des guillemets typographiques et un tiret cadratin reste identique octet par octet, car les règles de ponctuation sont désactivées. Un titre Markdown reste lui aussi intact avec les réglages sûrs ; l’outil de suppression du formatage active délibérément son préréglage Markdown.

Politiques des outils spécialisés

Les quatre outils spécialisés partagent le même moteur au lieu de réimplémenter les transformations :

Les tests automatisés des politiques exigent quatre signatures de règles par défaut distinctes, suffisamment de contenu propre à chaque page, un exemple dédié et une modification de sortie lorsque chaque préréglage traite son propre exemple. Cela évite de publier quatre outils identiques qui ne changent que leur texte.

Limite de confidentialité

Le nettoyage local s’exécute dans le navigateur ; un test du code interdit à son composant client d’envoyer du texte par fetch ou action serveur. La liste autorisée des événements d’analyse ne contient que des règles et des nombres agrégés. L’humaniseur IA est une fonction distincte : il peut transmettre le texte soumis au serveur puis à un fournisseur de modèles configuré. L’analyseur des habitudes d’écriture fonctionne également localement, mais fournit des signaux heuristiques et non une conclusion sur l’auteur. Consultez l’information sur la confidentialité du produit.

Limites

Le nettoyeur ne peut pas déterminer si un texte a été écrit par une personne ou un modèle, ni promettre de supprimer un filigrane statistique, d’améliorer le classement dans les moteurs de recherche, de contourner les détecteurs d’IA ou de préserver le sens après chaque modification facultative de ponctuation ou Markdown. Il reconnaît uniquement les motifs documentés ici. Markdown imbriqué, syntaxe de lien complexe, balisage personnalisé, styles de texte enrichi et métadonnées de presse-papiers propres à une application peuvent échapper à ces motifs.

Vérifiez le code, le JSON, les tableaux, le texte bidirectionnel et le rendu typographique propre à la langue dans l’application de destination. Une différence visible et une sortie déterministe facilitent la vérification, mais ne la remplacent pas.

Version et politique de changement

La version actuelle du schéma du moteur de formatage local est 1. Les identifiants de règle sont des valeurs d’API stables utilisées par les préréglages de page, les listes autorisées de l’analyse, les tests et les documents de gouvernance. Tout changement de comportement doit mettre à jour les attentes des tests et cette méthodologie dans la même version. Les nouvelles règles destructrices doivent être désactivées par défaut. Supprimer ou renommer une règle exige une migration explicite, car des politiques enregistrées et des observations SEO centralisées peuvent référencer cet identifiant.

Cette méthodologie a été vérifiée pour la dernière fois par rapport à l’implémentation du dépôt le 2026-09-05. Les dates de révision futures doivent correspondre à un véritable audit du code et de la configuration, pas à un horodatage généré automatiquement.

Règles réellement activées par page

Ce tableau reflète la configuration enregistrée des pages localisées. Le registre du moteur active six règles de mise en forme et désactive sept règles Markdown et de ponctuation ; un préréglage peut les remplacer.

PréréglageID des règles actives par défaut
Accueiltrim-trailing-whitespace, collapse-blank-lines
Retirer le formatage IAnormalize-tabs, trim-trailing-whitespace, collapse-blank-lines, remove-markdown-headings, remove-markdown-emphasis, remove-markdown-code-fences, remove-markdown-links
Retirer les caractères invisiblesAucune
Retirer le cadratinreplace-em-dash
Corriger les espaces IAnormalize-tabs, trim-trailing-whitespace, collapse-blank-lines