論文の概要: PARSE: Provenance-Aware Retrieval Sanitization for Professional Domain LLM Agents
- arxiv url: http://arxiv.org/abs/2606.17467v1
- Date: Tue, 16 Jun 2026 03:29:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.245675
- Title: PARSE: Provenance-Aware Retrieval Sanitization for Professional Domain LLM Agents
- Title（参考訳）: PARSE:プロのドメイン LLM エージェントに対する前向き検索型サニタイゼーション
- Authors: Aaditya Pai,
- Abstract要約: パラフレージングは, 実文書において統計的に有意な攻撃成功率の低下は示さない。
本稿では,各文を注入可能性で分類する事実保存型衛生パイプラインであるPARSEを紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt injection defenses evaluated on synthetic benchmarks do not generalize to real enterprise documents, which are longer, denser, and interleave legitimate authority language with factual content. We demonstrate this gap with a real-document benchmark of 122 tasks across five professional domains (financial, legal, medical, scientific, DevOps) using actual SEC filings, Federal Register rules, PubMed abstracts, arXiv papers, and GitHub postmortems. Paraphrasing, the strongest defense on synthetic benchmarks, shows no statistically significant attack success rate reduction on real documents (p=0.500) while degrading utility from 91.8% to 82.8%. We introduce PARSE (Provenance-Aware Retrieval Sanitization), a domain-aware, fact-preserving sanitization pipeline that classifies each sentence by injection likelihood, extracts structured facts before rewriting, and verifies fact preservation via a consistency-checking loop. A directiveness gate routes 59% of real enterprise documents to a lightweight path, concentrating computational cost on high-risk documents. PARSE achieves 15.6% attack success rate -- a 38% reduction versus the 25.4% baseline -- at 86.9% utility, the only condition that is both statistically significant (p=0.014, adequately powered) and maintains near-baseline utility. Practitioners should evaluate defenses on domain-matched real documents, not synthetic proxies.
- Abstract（参考訳）: 総合的なベンチマークで評価されたプロンプトインジェクションの防御は、より長く、より密集し、事実コンテンツによる正当な権威言語をインターリーブする実際のエンタープライズ文書に一般化しない。
このギャップを、SECの実際の申請書、連邦登録規則、PubMedの抽象化、arXivの論文、GitHubの反省会を使って、5つの専門ドメイン(金融、法律、医療、科学、DevOps)にわたる122のタスクの実際のドキュメントベンチマークで示しています。
パラフレージング(Paraphrasing)は、統計学的に有意な攻撃成功率の低下(p=0.500)は示さないが、実用性は91.8%から82.8%に低下している。
本稿では、各文を注入可能性で分類し、書き換え前の構造化事実を抽出し、整合性チェックループを介して事実保存を検証する、ドメイン対応の事実保存型衛生パイプラインであるPARSE(Provenance-Aware Retrieval Sanitization)を紹介する。
指令ゲートは、実際の企業文書の59%を軽量な経路にルートし、リスクの高いドキュメントの計算コストを集中させる。
PARSEは15.6%の攻撃成功率(25.4%のベースラインに対する38%の削減)を86.9%のユーティリティで達成している。
実践者は、合成プロキシではなく、ドメインマッチングされた実際のドキュメントに対する防御を評価するべきである。
関連論文リスト
- How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents [0.0]
NabaOSは対話型エージェントのための軽量な検証フレームワークである。
ソースによってAI応答内のすべてのクレームを分類する。
製造されたツールの実行の94.2%、誤り回数の87.6%、虚偽の欠席債権の78.4%を検知する。
論文 参考訳（メタデータ） (2026-03-09T20:45:41Z) - OfficeQA Pro: An Enterprise Benchmark for End-to-End Grounded Reasoning [34.493139441463995]
我々は、基礎化されたマルチドキュメント推論に基づいてAIエージェントを評価するベンチマークであるOfficeQA Proを紹介する。
OfficeQA Proは、正確な文書解析、検索、分析的推論を必要とする133の質問からなる。
Databricksのai_parse_documentによって生成された構造化文書表現をエージェントに提供すると、平均相対的なパフォーマンスが16.1%向上することがわかった。
論文 参考訳（メタデータ） (2026-03-09T17:34:53Z) - An Effective and Cost-Efficient Agentic Framework for Ethereum Smart Contract Auditing [8.735899453872966]
Heimdallrは,4つのコアイノベーションを通じてハードルを克服するために設計された,自動監査エージェントだ。
重要なビジネスロジックを保持しながら、コンテキストオーバーヘッドを最小限にします。
複雑な脆弱性を検出し、機能的なエクスプロイトを自動的にチェーンする。
論文 参考訳（メタデータ） (2026-01-25T13:28:37Z) - DoPE: Decoy Oriented Perturbation Encapsulation Human-Readable, AI-Hostile Documents for Academic Integrity [10.808479217513181]
DoPEは、PDF/HTMLアセスメントにセマンティックデコイを埋め込むドキュメント層防御フレームワークである。
FewSoRT-Qは疑問レベルセマンティックデコイを生成し、FewSoRT-Dはそれらを透かしの文書にカプセル化する。
DoPE は OpenAI と Anthropic のブラックボックスMLLM に対して強い経験的利益をもたらす。
論文 参考訳（メタデータ） (2026-01-18T17:34:29Z) - NewsScope: Schema-Grounded Cross-Domain News Claim Extraction with Open Models [0.15039745292757667]
NewsScopeは、スキーマ付きニュースクレーム抽出のためのクロスドメインデータセット、ベンチマーク、微調整モデルである。
データセットには政治、健康、科学/環境、ビジネスに関する455の記事が含まれている。
LLaMA 3.1 8Bは、LoRAを315のトレーニング例で微調整し、保持領域内(80記事)とアウト・オブ・ソース(60記事)のテストセットで評価した。
論文 参考訳（メタデータ） (2025-12-26T19:17:21Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳（メタデータ） (2025-12-23T08:42:09Z) - DocReward: A Document Reward Model for Structuring and Stylizing [107.03974018371058]
DocRewardはドキュメントの構造とスタイルに基づいてドキュメントを評価するドキュメント報酬モデルである。
ブラッドリー・テリーの損失を利用して文書を採点し、注釈付きランキングに矛盾する予測を罰する訓練を受けている。
GPT-5の37.7%の勝利率に比べて60.8%の勝利率を達成した。
論文 参考訳（メタデータ） (2025-10-13T13:36:32Z) - On the Vulnerability of Text Sanitization [60.633170315082495]
テキストの衛生化を目的とした理論的に最適な再構築攻撃を提案する。
衛生性能を評価するためのベンチマークとして, ASR のバウンダリを導出する。
我々の攻撃の1つは、最先端のベースラインよりもASRが46.4%向上したことである。
論文 参考訳（メタデータ） (2024-10-22T14:31:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。