Фиксированный корпус текстовых артефактов и отчёт о воспроизводимости
Исследовательский вопрос
Может ли локальный механизм форматирования при безопасных настройках детерминированно удалять выбранные механические артефакты, сохраняя чистый видимый текст? В отчёте проверяется только это ограниченное поведение. Он не оценивает авторство ИИ и не сравнивает языковые модели.
На этой странице локализовано описание существующего фиксированного корпуса; это не означает, что алгоритм очистки отдельно проверен для каждого языка.
Корпус и лицензия
Синтетические примеры, подготовленные сопровождающим проекта, опубликованы по лицензии CC0-1.0 и не содержат пользовательского текста. В корпусе есть поля prompt, model, model version и generation date. Значения prompt и model явно равны null: генеративная модель не использовалась.
Скачать фиксированный корпус текстовых артефактов AnyFormatLocal v1
Метод
Каждый пример содержит входную строку, идентификаторы выбранных правил и точный ожидаемый результат. Автоматический тест загружает открытый JSON, запускает тот же механизм local-format-cleaner, что используется в продукте, и сравнивает строки посимвольно. Количество изменений берётся из записей механизма; число символов соответствует длине строки JavaScript.
Идентификаторы примеров
hidden-unicode, nbsp, tabs, repeated-spaces, blank-lines, markdown, punctuation-safe, multilingual
Результаты
Все восемь фиксированных примеров версии 1 проходят тест воспроизводимости в репозитории. Набор охватывает невидимые символы Unicode, неразрывные пробелы, табуляции, повторяющиеся пробелы, лишние пустые строки, выборочное удаление Markdown, сохранение пунктуации и многоязычный текст. Вывод относится только к этим примерам и проверенной версии механизма.
Ограничения
Корпус синтетический и намеренно небольшой. Он не представляет все редакторы, языки, кодовые точки Unicode и форматы документов. Успешный тест не означает, что произвольный текст не содержит ошибок, написан человеком или готов к публикации. Фиксированные примеры не отражают реальные показатели обнаружения и не позволяют судить об авторстве. Риски отдельных правил описаны в методологии; изменения можно проверить в локальном очистителе.
Повторение или сообщение об исправлении
Запустите тестовый набор репозитория, чтобы повторить проверку корпуса. Об ошибке в примере, результате или описании сообщите на support@ai-text-cleaner.com. Принятые исправления войдут в новую версию корпуса, а v1 не будет изменяться незаметно.