論文の概要: GPE: Evaluating Robust Evidence Aggregation for Fact Verification under Controllable GEO-Style Poisoning
- arxiv url: http://arxiv.org/abs/2607.20730v1
- Date: Wed, 22 Jul 2026 21:04:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.222107
- Title: GPE: Evaluating Robust Evidence Aggregation for Fact Verification under Controllable GEO-Style Poisoning
- Title(参考訳): GPE: GEO-Style Poisoning による不確実性検証のためのロバスト証拠収集の評価
- Abstract要約: 大規模言語モデルは、検索ツールを使って最新の情報を検索し、検索した文書を操作できる新たな攻撃面を導入する。
このリスクは、生成エンジン最適化の開発によって増幅され、選択されたコンテンツがモデルによって検索され、引用され、採用される可能性が高まる。
マルチドメインの事実検証ベンチマークと,エビデンスソースと毒素比を制御するための評価フレームワークからなるGPEを提案する。
- 参考スコア(独自算出の注目度): 41.44810675052829
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models increasingly use search tools to retrieve up-to-date information, introducing a new attack surface in which retrieved documents can be manipulated. This risk is amplified by the development of generative engine optimization, which can make selected content more likely to be retrieved, cited, and adopted by models. Existing fact-verification benchmarks and evaluation frameworks do not provide the controlled evidence environments needed to assess robustness against GEO poisoning. We therefore propose GPE, which consists of a multi-domain fact-verification benchmark and an evaluation framework for controlling evidence sources and poisoning ratios. Experiments across multiple verification methods and poisoning attacks demonstrate that GPE exposes robustness degradation and efficiency trade-offs that cannot be observed through clean evaluation alone, confirming the need to evaluate fact verification under adversarial evidence environments.
- Abstract(参考訳): 大規模言語モデルは、検索ツールを使って最新の情報を検索し、検索した文書を操作できる新たな攻撃面を導入する。
このリスクは、生成エンジン最適化の開発によって増幅され、選択されたコンテンツがモデルによって検索され、引用され、採用される可能性が高まる。
既存の事実検証ベンチマークと評価フレームワークは、GEO中毒に対する堅牢性を評価するために必要な制御されたエビデンス環境を提供していない。
そこで我々は,多領域事実検証ベンチマークとエビデンスソースと毒素比を制御するための評価フレームワークからなるGPEを提案する。
複数の検証方法と毒殺攻撃による実験により、GPEは、クリーンな評価だけでは観察できない堅牢性劣化と効率のトレードオフを露呈し、敵の証拠環境下で事実検証を評価する必要性を確認している。
関連論文リスト
- Evidence-Aligned Entity Verification for Hallucination Detection in Retrieval-Augmented Generation [17.29201876137025]
大型言語モデル(LLM)には幻覚検出が不可欠である
現在の検出方法は不確実性や自己整合性チェックといった内部信号に依存する。
検索増強世代 (RAG) は, 推定時刻に関連する証拠を検索することによって, 有望な解決法として浮上している。
論文 参考訳(メタデータ) (2026-09-08T05:22:29Z) - AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。
本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
論文 参考訳(メタデータ) (2026-08-26T11:48:38Z) - Evaluating RAG Reliability under Clean, Misleading, and Mixed Retrieval [0.12183405753834557]
誤情報に富んだ環境では、検索されたコンテンツは、もっともらしいが誤った情報を含むことがある。
本稿では,RAGシステムが文脈から得られたパラメトリック知識と証拠との矛盾をどう扱うかを評価するための評価プロトコルを提案する。
本研究の目的は,情報障害のシナリオにおけるRAGシステムの堅牢性に関する洞察を提供することである。
論文 参考訳(メタデータ) (2026-06-05T18:54:23Z) - Reason and Verify: A Framework for Faithful Retrieval-Augmented Generation [0.0]
本稿では,明示的なレアソニングと忠実度検証を統合したドメイン固有RAGフレームワークを提案する。
我々のアーキテクチャは、ニューラルネットワークの書き換え、BGEベースのクロスエンコーダのランク付け、合理生成モジュールによる標準検索を強化する。
我々は、このフレームワークをBioASQとPubMedQAベンチマークで評価し、動的インコンテキスト学習の影響を具体的に分析する。
論文 参考訳(メタデータ) (2026-03-10T18:25:07Z) - Benchmarking Knowledge-Extraction Attack and Defense on Retrieval-Augmented Generation [50.87199039334856]
Retrieval-Augmented Generation (RAG) は知識集約型アプリケーションの基礎となっている。
近年の研究では、悪意あるクエリによって知識抽出攻撃が機密知識ベースコンテンツを回復できることが示されている。
本稿では,RAGシステムに対する知識抽出攻撃のための最初の体系的ベンチマークを紹介する。
論文 参考訳(メタデータ) (2026-02-10T01:27:46Z) - Towards Real-Time Fake News Detection under Evidence Scarcity [66.58597356379907]
本稿では,リアルタイムフェイクニュース検出のための新しいフレームワークである評価アウェア・セレクション・オブ・エキスパートズ(EASE)を提案する。
EASEは、利用可能な証拠の十分性を評価した意思決定プロセスに適合する。
本稿では,新興ニュースのモデル一般化を限られた証拠で評価するための新しいベンチマークであるRealTimeNews-25を紹介する。
論文 参考訳(メタデータ) (2025-10-13T11:11:46Z) - Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。
RAGシステムは、検索コーパスに注入された悪意のある通路が、モデルに誤った結果をもたらす可能性がある、敵の毒殺攻撃に対して脆弱である。
本稿では、RAGシステムがこのような攻撃下でどのように振る舞うか、その堅牢性がどのように改善されるかについて、厳密に制御された実証研究を示す。
論文 参考訳(メタデータ) (2024-12-21T17:31:52Z) - RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。
事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。
実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文 参考訳(メタデータ) (2024-08-02T13:35:11Z) - Not All Contexts Are Equal: Teaching LLMs Credibility-aware Generation [47.42366169887162]
Credibility-Aware Generation (CAG) は、信頼性に基づいて情報を識別・処理する能力を備えたモデルを提供することを目的としている。
提案モデルは,生成に対する信頼性を効果的に理解し活用し,検索強化により他のモデルよりも大幅に優れ,ノイズの多い文書による破壊に対するレジリエンスを示す。
論文 参考訳(メタデータ) (2024-04-10T07:56:26Z) - Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。
暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。
我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
論文 参考訳(メタデータ) (2023-06-06T14:45:24Z) - Evaluating Out-of-Distribution Detectors Through Adversarial Generation
of Outliers [8.913669910615226]
我々はOOD検出器(EvG)の評価・生成法を提案する。
EvGはOOD検出器のロバスト性を調べるための新しいプロトコルである。
我々は、EvGを用いた最先端OOD検出器の性能に関する総合的なベンチマークを行い、これまで見過ごされていた弱点を明らかにした。
論文 参考訳(メタデータ) (2022-08-20T22:10:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。