固定テキスト書式サンプルと再現性レポート
研究上の問い
安全な設定で、ローカル書式エンジンは指定された機械的な書式上の問題を決定的に取り除き、問題のない表示上の文言を保てるでしょうか。このレポートが検証するのはその限定的な動作です。AI による作者判定や言語モデルの比較は行いません。
このページは既存の固定コーパスを翻訳して説明するもので、各言語で個別にクリーナーの動作を検証したことを示すものではありません。
コーパスとライセンス
保守担当者が作成した合成サンプルは CC0-1.0 で公開され、利用者の文章を含みません。コーパスには prompt、model、model version、generation date の欄があります。生成 AI を使っていないため、prompt と model は明示的に null です。
AnyFormatLocal 固定テキスト書式コーパス v1 をダウンロード
方法
各サンプルには入力文字列、選択したルール ID、完全一致する期待出力が含まれます。自動テストは公開 JSON を読み込み、製品と同じ local-format-cleaner エンジンを実行して文字列を完全一致で比較します。変更数はエンジンの変更記録、文字数は JavaScript の文字列長で数えます。
サンプル識別子
hidden-unicode, nbsp, tabs, repeated-spaces, blank-lines, markdown, punctuation-safe, multilingual
結果
バージョン 1 の固定サンプル 8 件すべてが、リポジトリの再現テストに合格しました。不可視 Unicode、改行しないスペース、タブ、連続スペース、過剰な空行、選択式 Markdown 除去、句読点の安全な保持、多言語テキストを扱います。この結果が裏付けるのは、これらの固定ケースと検証対象のエンジン版に限られます。
限界
コーパスは合成で、意図的に小規模です。すべてのエディター、言語、Unicode コードポイント、文書形式を代表するものではありません。テスト合格は、任意の文章に誤りがないこと、人間が書いたこと、安全に公開できることを意味しません。固定サンプルは実環境での検出率を示さず、作者の判定にもなりません。方法で各ルールのリスクを確認し、ローカルクリーナーで変更を確認してください。
再現または修正の報告
リポジトリのテストスイートを実行するとコーパステストを再現できます。サンプル、結果、説明の誤りは support@ai-text-cleaner.com へご連絡ください。採用された修正は v1 を黙って変更せず、新しいコーパス版として公開します。