Bộ dữ liệu dấu vết văn bản cố định và báo cáo tái lập
Câu hỏi nghiên cứu
Với cài đặt an toàn, bộ máy định dạng cục bộ có thể loại bỏ tất định một số dấu vết cơ học đã chọn mà vẫn giữ nguyên câu chữ hiển thị vốn đã sạch không? Báo cáo chỉ kiểm tra hành vi giới hạn này. Báo cáo không đo lường tác giả AI và không so sánh mô hình ngôn ngữ.
Trang này bản địa hóa phần mô tả bộ dữ liệu cố định hiện có; điều đó không có nghĩa thuật toán dọn dẹp đã được kiểm chứng riêng cho từng ngôn ngữ.
Bộ dữ liệu và giấy phép
Các mẫu tổng hợp do người duy trì dự án soạn được phát hành theo CC0-1.0 và không chứa văn bản người dùng. Bộ dữ liệu có các trường prompt, model, model version và generation date. prompt và model được ghi rõ là null vì không dùng mô hình tạo sinh.
Tải bộ dữ liệu dấu vết văn bản cố định AnyFormatLocal v1
Phương pháp
Mỗi mẫu có chuỗi đầu vào, ID quy tắc được chọn và đầu ra kỳ vọng chính xác. Kiểm thử tự động đọc JSON công khai, chạy cùng bộ máy local-format-cleaner của sản phẩm và so sánh chuỗi chính xác. Số thay đổi lấy từ bản ghi thay đổi của bộ máy; số ký tự dùng độ dài chuỗi JavaScript.
Mã định danh mẫu
hidden-unicode, nbsp, tabs, repeated-spaces, blank-lines, markdown, punctuation-safe, multilingual
Kết quả
Cả tám mẫu cố định trong phiên bản 1 đều vượt qua kiểm thử tái lập trong kho mã. Bộ mẫu bao gồm Unicode ẩn, khoảng trắng không ngắt dòng, tab, khoảng trắng lặp, dòng trống thừa, loại bỏ Markdown tùy chọn, giữ dấu câu an toàn và văn bản đa ngôn ngữ. Kết quả chỉ áp dụng cho các trường hợp cố định này và phiên bản bộ máy đã kiểm thử.
Giới hạn
Bộ dữ liệu là mẫu tổng hợp và cố ý có quy mô nhỏ. Nó không đại diện cho mọi trình soạn thảo, ngôn ngữ, mã Unicode hay định dạng tài liệu. Vượt qua kiểm thử không có nghĩa là văn bản bất kỳ không lỗi, do con người viết hoặc an toàn để xuất bản. Mẫu cố định không đại diện cho tỷ lệ phát hiện trong thực tế và không đánh giá tác giả. Xem phương pháp luận về rủi ro từng quy tắc và dùng trình dọn dẹp cục bộ để kiểm tra thay đổi.
Tái lập hoặc báo lỗi cần sửa
Chạy bộ kiểm thử của kho mã để tái lập kiểm thử dữ liệu. Báo lỗi về mẫu, kết quả hoặc mô tả tới support@ai-text-cleaner.com. Sửa đổi được chấp nhận sẽ phát hành trong phiên bản mới, không âm thầm thay đổi v1.