論文の概要: Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems
- arxiv url: http://arxiv.org/abs/2608.21095v1
- Date: Fri, 21 Aug 2026 13:42:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.5555
- Title: Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems
- Title（参考訳）: Trustworthy RAG: 生成AIシステムにおける誤情報と知識汚染の検出のための評価エージェント
- Abstract要約: Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) を外部知識で出力する。
本稿では,自然言語推論(NLI)の事実検証,関連性重み付けによる5信号毒素検出,信頼指数T = 0.4 F + 0.35 C + 0.25 (1 - P) を組み合わせた評価エージェントを提案する。
Llama 3.3 70BのTrathfulQAでは、エージェントは91%の精度と100%の精度に達し、インストラクションインジェクションで100%リコールされる。
- 参考スコア（独自算出の注目度）: 1.7327102304628392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) grounds Large Language Model (LLM) outputs in external knowledge, but RAG systems usually trust whatever they retrieve, creating a Security-Reliability Gap: high semantic relevance does not guarantee factual truth. Adversaries exploit this through knowledge poisoning, inserting malicious documents to cause targeted misinformation. We propose an Evaluation Agent, middleware that combines Natural Language Inference (NLI) factual verification, a five-signal poison detector with relevance-weighted aggregation, and a Trust Index T = 0.4 F + 0.35 C + 0.25 (1 - P ) with a non-linear dampener for high-contamination contexts. On TruthfulQA with Llama 3.3 70B, the agent reaches 91% accuracy and 100% precision, with 100% recall on instruction injection, while in-place edits, such as entity swaps, remain hard to detect. Across three LLMs the Trust Index stays discriminative, with a Receiver Operating Characteristic Area Under the Curve (ROC-AUC) of 0.73 to 0.81; generation style matters more than model size, and per-LLM threshold calibration restores baseline competitive accuracy, whereas a weaker FEVER result shows that cross-dataset generalization requires domain-specific calibration. In a software-engineering use case, a secure-coding assistant over guidance from the Open Worldwide Application Security Project (OWASP) Top 10 and the Common Weakness Enumeration (CWE), the agent reliably blocks instruction injection of unsafe advice (F1 92%), while contradiction and subtle semantic weakening remain hard. Throughout, the agent measures detection of poisoned context before generation, not whether the LLM adopts the injected misinformation. We release the proposed approach, attack generator, and experimental artifacts at the link: https://github.com/GPT-Laboratory/TrustworthyRAG.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大言語モデル(LLM)のアウトプットを外部の知識に基礎を置いているが、RAGシステムは通常、取得したものを何でも信頼し、セキュリティ-信頼性ギャップを作成する。
敵は知識中毒でこれを悪用し、悪意のある文書を挿入して標的の誤報を引き起こす。
本研究では,自然言語推論(NLI)の事実検証,関連性重み付けによる5信号毒素検出,信頼指数T = 0.4 F + 0.35 C + 0.25 (1 - P ) と非線形ダンパーを組み合わせた評価エージェントを提案する。
Llama 3.3 70B の TruthfulQA では、エージェントは91%の精度と100%の精度に達し、インストラクションインジェクションで100%リコールされる。
信頼指数は3つの LLM 全体で差別的であり、受信側動作特性領域(ROC-AUC)は0.73から0.81であり、生成スタイルはモデルサイズよりも重要であり、LLM ごとのしきい値のキャリブレーションはベースラインの競争精度を回復する一方、より弱いFEVERの結果は、クロスデータセットの一般化にはドメイン固有のキャリブレーションが必要であることを示している。
ソフトウェアエンジニアリングのユースケースでは、Open Worldwide Application Security Project (OWASP) Top 10とCommon Weakness Enumeration (CWE)からのガイダンスによるセキュアなコーディングアシスタントが、エージェントが安全でないアドバイス(F1 92%)のインジェクションを確実にブロックする一方で、矛盾と微妙なセマンティックな弱体化は依然として困難である。
LLMが注入された誤報を採用するかどうかに関わらず、発生前の有毒な文脈の検出を測定する。
我々は、提案されたアプローチ、攻撃ジェネレータ、実験的なアーティファクトをリンクでリリースする。
関連論文リスト
- MemSentry: A Framework for Detecting Persistent Memory Poisoning in Agentic AI [0.0]
提案する永続メモリ書き込みをインターセプトし,決定論的アクセプション,レビュー,あるいはQuantine決定を生成するフレームワークであるMemSentryを提示する。
MemSentryは、ソース信頼、セマンティックリスク、コンポーネント依存DAGに対する攻撃半径、アクセスリスク、署名されたセキュリティ状態デルタを共同で検討することで、各書き込みを評価する。
SBERT+LRは91.7%の精度と0.908のマクロF1スコアで最高性能を達成し、4つの手法はすべて外部の隔離クラスの脅威を100%検出した。
論文 参考訳（メタデータ） (2026-09-08T13:40:13Z) - CodePoisonRAG: Knowledge Poisoning Attacks on Retrieval-Augmented Code Generation [47.354635260745134]
我々は、良質な固定コードエントリを有毒なアーティファクトに変換する上流知識汚染フレームワークであるCodePoisonRAGを紹介した。
JavaとCにまたがる10のCWEクラスをカバーする85の有毒アーティファクトを構築した。
論文 参考訳（メタデータ） (2026-09-02T16:11:01Z) - Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection [0.0]
本稿では,検索境界ディフェンスを用いた3層マルチエージェント侵入検出フレームワークであるRAG-IDSを提案する。
即時注入では、複数文書検索ではラベルフリップが0.6-2.4%に制限され、シングルドキュメント検索では35-55%に制限された。
論文 参考訳（メタデータ） (2026-08-08T12:29:47Z) - PRISM: Generation-Time Detection and Mitigation of Secret Leakage in Multi-Agent LLM Pipelines [19.04544141221272]
PRISMは,情報漏洩を発生時の逐次的リスク蓄積問題として扱うリアルタイムディフェンスである。
各復号ステップにおいて、PRISMは語彙的、構造的、情報理論的、行動的、文脈的特徴にまたがる16の信号を校正リスクスコアに結合する。
PRISMは精度が1.000、リコールが0.712でF1 = 0.832を達成する。
論文 参考訳（メタデータ） (2026-05-11T14:11:41Z) - AgentRaft: Automated Detection of Data Over-Exposure in LLM Agents [40.88941407116349]
本稿では,大規模言語モデル(LLM)エージェントにおけるデータオーバー露光(DOE)リスクを検出するための,最初の自動化フレームワークであるAgentRaftを紹介する。
実世界のエージェントツール6,675のテスト環境でAgentRaftを評価した。
論文 参考訳（メタデータ） (2026-03-08T09:40:54Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳（メタデータ） (2025-05-08T13:04:45Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。
RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳（メタデータ） (2025-02-10T09:15:56Z) - TrustRAG: Enhancing Robustness and Trustworthiness in Retrieval-Augmented Generation [31.231916859341865]
TrustRAGは、生成のために取得される前に、悪意のある、無関係なコンテンツを体系的にフィルタリングするフレームワークである。
TrustRAGは、検索精度、効率、攻撃抵抗を大幅に改善する。
論文 参考訳（メタデータ） (2025-01-01T15:57:34Z) - AgentPoison: Red-teaming LLM Agents via Poisoning Memory or Knowledge Bases [73.04652687616286]
本稿では,RAG とRAG をベースとした LLM エージェントを標的とした最初のバックドア攻撃である AgentPoison を提案する。
従来のバックドア攻撃とは異なり、AgentPoisonは追加のモデルトレーニングや微調整を必要としない。
エージェントごとに、AgentPoisonは平均攻撃成功率を80%以上達成し、良質なパフォーマンスに最小限の影響を与える。
論文 参考訳（メタデータ） (2024-07-17T17:59:47Z) - Malicious Agent Detection for Robust Multi-Agent Collaborative Perception [52.261231738242266]
多エージェント協調(MAC)知覚は、単エージェント認識よりも敵攻撃に対して脆弱である。
MAC知覚に特異的な反応防御であるMADE(Malicious Agent Detection)を提案する。
我々は、ベンチマーク3DデータセットV2X-simとリアルタイムデータセットDAIR-V2Xで包括的な評価を行う。
論文 参考訳（メタデータ） (2023-10-18T11:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。