論文の概要: Reversible Pseudonymisation of Documents Sent to External LLMs: an Open Bilingual Benchmark and an Engine
- arxiv url: http://arxiv.org/abs/2610.34012v1
- Date: Sun, 25 Oct 2026 02:50:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.516832
- Title: Reversible Pseudonymisation of Documents Sent to External LLMs: an Open Bilingual Benchmark and an Engine
- Title（参考訳）: 外部LLMに係わる文書の可逆的偽名化:オープンバイリンガルベンチマークとエンジン
- Abstract要約: 我々は、既存の5つのオープンツールのオープンベンチマークと、ロシア語とイギリス英語の正規表現ベースラインと、2つの最強ツールをベースに構築されたオープンエンジンを提示する。
ベンチマークでは、各ツールの作者自身のデータセットを判断から除外している。
エンジンと同一のデータセット上の各ツールを比較して、検出、マスキング精度の報告、合成文書の保持されたセットのテストを行う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Professionals send working documents to external large language models. A common safeguard is reversible pseudonymisation: personal data are replaced with placeholders before the request and restored locally in the answer. We present an open benchmark of five existing open tools and a regular-expression baseline on Russian and UK English, and an open engine built on the two strongest tools. The benchmark excludes each tool's own authors' dataset from its verdict, compares the engine with each tool on identical datasets for detection, reports masking precision, and tests on a held-out set of synthetic documents whose files, hashes, decision rules, run plan and stopping rule were published before any run. Two local LLMs test whether placeholders survive. All evaluation data are synthetic, and the benchmark was run by the author of the engine; code, data, predictions and raw answers are released. On external datasets no existing tool meets all predefined thresholds: in UK English the identifier and leak thresholds are not met, in Russian the identifier threshold is borderline. On the last held-out set of 1,000 documents per language, the best existing tools leave a whole value visible in 61% (Russian) and 58% (UK) of documents. On these documents, from the generator it was developed on, the engine does so in 0.3% [0.1; 0.9] and 0.2% [0.1; 0.7], leaves any part of a value visible in 0.8% and 0.2%, and meets all detection thresholds in both languages. In UK English it also restores at least 99% of its placeholders after 760 answers. In Russian it restores only 94.6% [93.6; 95.6] of name placeholders, against a 99% threshold, mainly because the inflection it borrows from pii-guard produces wrong surname forms. The engine was developed over six earlier held-out sets from the same generator; real documents were not tested.
- Abstract（参考訳）: プロフェッショナルは作業ドキュメントを外部の大規模言語モデルに送信します。
個人データは、リクエストの前にプレースホルダーに置き換えられ、回答でローカルに復元される。
我々は、既存の5つのオープンツールのオープンベンチマークと、ロシア語とイギリス英語の正規表現ベースラインと、2つの最強ツールをベースに構築されたオープンエンジンを提示する。
ベンチマークは、各ツールの著者自身のデータセットを判断から除外し、検出、マスキング精度の報告、ファイル、ハッシュ、決定ルール、実行計画、実行停止ルールが発行される合成文書の保持された一連のテストのための同一データセット上の各ツールと比較する。
2つのローカルLSMは、プレースホルダーが生き残るかどうかをテストする。
すべての評価データは合成され、ベンチマークはエンジンの作者によって実行され、コード、データ、予測、生の回答がリリースされる。
英語では識別子とリークしきい値が一致せず、ロシア語では識別子しきい値が境界線である。
最後の1000のドキュメントセットでは、最も優れた既存のツールが61%(ロシア語)と58%(UK)のドキュメントに全値を表示している。
これらの文書では、それが開発されたジェネレータから、エンジンは0.3%[0.1; 0.9]と0.2%[0.1; 0.7]で、その値の一部が0.8%と0.2%で表示され、両方の言語で全ての検出しきい値を満たす。
イギリスでは、760の回答の後、少なくとも99%のプレースホルダーをリストアしている。
ロシア語では94.6% (93.6; 95.6) の地名を99%の閾値で復元している。
エンジンは同じ発電機から6つの以前の保留セットで開発されたが、実際の文書はテストされなかった。
関連論文リスト
- What the Author Wrote, What the Agent Reads: Silent Cue Loss in Enterprise Document Ingestion [2.332848751256598]
推論ではなく、摂取が、この信頼性を勝ち取るか、失うかを示す。
エージェントビルダーにとっての実践的な発見は、推論ではなく、インジェクションが、この信頼性を勝ち取り、失う場所であるということだ。
論文 参考訳（メタデータ） (2026-10-21T16:51:25Z) - Value-level data provenance in an electronic laboratory notebook used by humans and language-model agents: An experience report [0.0]
本稿では, APS ELN の値レベル前処理アーキテクチャについて述べる。
建築は、ほぼ5年間にわたって行われたプロジェクトをカバーする材料実験室での生産監査によって動機づけられた。
他の5つのプラットフォームとの比較では、格納された個々の数値をソースファイルと抽出子バージョンの両方にバインドすることはない。
論文 参考訳（メタデータ） (2026-10-20T08:41:55Z) - Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows [74.39138492851343]
大規模言語モデル(LLM)エージェントは、ソフトウェアやデータエンジニアリングアシスタントとしてますます使われている。
ローカルオープンウェイトエージェントが正しい再現可能なデータエンジニアリングアーティファクトを作成できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-10-08T08:26:46Z) - All-in-One Multilingual Scene Text Recognition with Script-aware Mixture-of-Experts [50.30361657201582]
既存のソリューションでは、言語ごとに1つの認識器をデプロイし、コストを膨らませ、エラーの蓄積を導入するか、巨大な視覚言語モデル(VLM)に依存している。
本研究では,言語ごとのエキスパートよりもシンプルで,VLMよりも軽量で,両者よりも正確であるオールインワンな多言語認識手法を提案する。
まず,10のスクリプトと229の言語にまたがる大規模な合成シーンテキストデータセットであるTextMuSS-10Mを構築した。
次に,スクリプト対応Mixture-of-Experts (MoE)アーキテクチャであるScriptMoEを提案する。
論文 参考訳（メタデータ） (2026-09-21T03:34:56Z) - An Iterative LangGraph Agent for Text-to-SQL: Natural Language Access to the Chicago Crime Database [0.0]
非技術ステークホルダは、運用データベースから洞察を抽出するために必要なthesqlを書くことができないことが多い。
このギャップを埋めるText-to-checkerエージェントを構築し,評価した。
エージェントはプロンプトエンジニアリングのみを使用し、モデルは微調整されなかった。
論文 参考訳（メタデータ） (2026-09-19T09:54:16Z) - Beyond Document Grounding: Span-Level Hallucination Detection over Code, Tool Output, and Documents [10.262113115662334]
検索増強世代(RAG)に対する幻覚検出は通常、自然言語文書の証拠に基づいて評価される。
我々は、コード、ツール出力、構造化文書、既存の自然言語RAGデータセットに対するスパンレベル幻覚検出のための統一ベンチマークを導入する。
論文 参考訳（メタデータ） (2026-07-01T13:01:42Z) - DocAtlas: Multilingual Document Understanding Across 80+ Languages [58.715440331861295]
本稿では,82言語を対象とした高忠実度OCRデータセットとベンチマークを構築するフレームワークDocAtlasを紹介する。
我々のデュアルパイプライン、ネイティブDOCX文書の微分レンダリング、左右スクリプトの合成ベース生成は正確な構造アノテーションを生成する。
論文 参考訳（メタデータ） (2026-05-12T18:09:38Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - MDPBench: A Benchmark for Multilingual Document Parsing in Real-World Scenarios [72.8160644291677]
我々は,多言語デジタルおよび写真文書解析のための最初のベンチマークであるMultilingual Document Parsing Benchmarkを紹介する。
MDPBenchは17言語にまたがる3,400のドキュメントイメージ、多様なスクリプト、さまざまな写真条件で構成されている。
論文 参考訳（メタデータ） (2026-03-30T07:47:46Z) - A document processing pipeline for the construction of a dataset for topic modeling based on the judgments of the Italian Supreme Court [5.612141846711729]
トピックモデリングに最適化された匿名化データセットを生成する文書処理パイプラインを開発した。
パイプラインは文書レイアウト解析(YOLOv8x)、光学文字認識、テキスト匿名化を統合している。
OCRのみの手法と比較して,多様性スコア0.6198,コヒーレンススコア0.6638でトピックモデリングを改善した。
論文 参考訳（メタデータ） (2025-05-13T11:06:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。