論文の概要: Probing Latent Knowledge Conflict for Faithful Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2510.12460v1
• Date: Tue, 14 Oct 2025 12:48:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.314807
• Title: Probing Latent Knowledge Conflict for Faithful Retrieval-Augmented Generation
• Title（参考訳）: 忠実検索強化世代のための潜在知識紛争の探索
• Authors: Linfeng Gao, Baolong Bi, Zheng Yuan, Le Wang, Zerui Chen, Zhimin Wei, Shenghua Liu, Qinggang Zhang, Jinsong Su,
• Abstract要約: Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の現実性を高めるための強力なパラダイムとして登場した。 既存の文脈忠実性を改善するアプローチは、プロンプトエンジニアリング、デコード制約、報酬に基づく微調整など、外部からの介入に依存している。 文脈を微粒な文レベルの知識に分解するフレームワークであるCLEAR(Conflict-Localized and Enhanced Attention for RAG)を提案する。
• 参考スコア（独自算出の注目度）: 46.03923254984181
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) has emerged as a powerful paradigm to enhance the factuality of Large Language Models (LLMs). However, existing RAG systems often suffer from an unfaithfulness issue, where the model's response contradicts evidence from the retrieved context. Existing approaches to improving contextual faithfulness largely rely on external interventions, such as prompt engineering, decoding constraints, or reward-based fine-tuning. These works treat the LLM as a black box and overlook a crucial question: how does the LLM internally integrate retrieved evidence with its parametric memory, particularly under knowledge conflicts? To address this gap, we conduct a probing-based analysis of hidden-state representations in LLMs and observe three findings: knowledge integration occurs hierarchically, conflicts manifest as latent signals at the sentence level, and irrelevant context is often amplified when aligned with parametric knowledge. Building on these findings, we propose CLEAR (Conflict-Localized and Enhanced Attention for RAG), a framework that (i) decomposes context into fine-grained sentence-level knowledge, (ii) employs hidden-state probing to localize conflicting knowledge, and (iii) introduces conflict-aware fine-tuning to guide the model to accurately integrate retrieved evidence. Extensive experiments across three benchmarks demonstrate that CLEAR substantially improves both accuracy and contextual faithfulness, consistently outperforming strong baselines under diverse conflict conditions. The related resources are available at https://github.com/LinfengGao/CLEAR.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) の現実性を高めるための強力なパラダイムとして登場した。 しかしながら、既存のRAGシステムはしばしば不誠実な問題に悩まされ、モデルの応答は検索された文脈からの証拠と矛盾する。 既存の文脈忠実性を改善するアプローチは、プロンプトエンジニアリング、デコード制約、報酬に基づく微調整など、外部からの介入に大きく依存している。 これらの研究は、LLMをブラックボックスとして扱い、重要な問題を見落としている。 このギャップに対処するため, LLMにおける隠れ状態表現の探索に基づく分析を行い, 知識統合が階層的に発生し, 文レベルで遅延信号として表されるコンフリクトが出現し, パラメトリック知識と整合すると, 無関係な文脈が増幅されることがしばしばある。 これらの知見に基づいて, CLEAR (Conflict-Localized and Enhanced Attention for RAG) を提案する。 (i)文脈を微粒な文レベルの知識に分解する。 (二)対立する知識のローカライズのために隠蔽状態の探究を施し、 (三) 復元された証拠を正確に統合するためにモデルを誘導するための紛争対応微調整を導入する。 3つのベンチマークによる大規模な実験により、CLEARは精度と文脈的忠実性の両方を大幅に改善し、多様な紛争条件下では強いベースラインを一貫して上回ることを示した。 関連するリソースはhttps://github.com/LinfengGao/CLEAR.comにある。

関連論文リスト

• Conflict-Aware Soft Prompting for Retrieval-Augmented Generation [13.671410389511498]
  Retrieval-augmented Generation (RAG)は、外部知識を入力プロンプトに組み込むことで、大規模言語モデル(LLM)の能力を高める。 RAGはしばしば、誤った外部コンテキストと正しいパラメトリック知識の間の競合を解決できない。 コンテクストアセスタとベースLLMから構成されるCARE(Conflict-Aware Retrieval-Augmented Generation)を紹介する。 CAREはコンテキストメモリの競合を効果的に軽減し、QAとファクトチェックベンチマークの平均パフォーマンスは5.0%向上した。
  論文  参考訳（メタデータ） (2025-08-21T05:36:29Z)
• FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation [37.28571879699906]
  検索システムで強化された大規模言語モデル(LLM)は、知識集約的なタスクを扱う上で大きな可能性を示している。 本稿では,モデルパラメトリック知識と検索コンテキストの相違を明示的にモデル化することにより,知識の対立を解決する新しいフレームワークであるFaithfulRAGを提案する。
  論文  参考訳（メタデータ） (2025-06-10T16:02:54Z)
• Micro-Act: Mitigating Knowledge Conflict in LLM-based RAG via Actionable Self-Reasoning [23.692890708548678]
  Micro-Actは階層的なアクション空間を持つフレームワークで、コンテキストの複雑さを自動的に認識し、各知識ソースを微妙な比較のシーケンスに適応的に分解する。 5つのデータセットと3つの競合タイプにまたがって、最先端のベースラインに対するQAの精度を継続的に向上させる。 Micro-Actは競合しない質問に対して同時に堅牢なパフォーマンスを示し、現実のRAGアプリケーションにおける実用的価値を強調している。
  論文  参考訳（メタデータ） (2025-06-05T17:33:02Z)
• Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations [65.11348389219887]
  そこで,Dialectic-RAG(Dialectic-RAG, DRAG)を提案する。 我々は、文脈内学習戦略と、より小さなモデルをインストラクションするための実演の構築の両方において、我々のフレームワークが与える影響を示す。
  論文  参考訳（メタデータ） (2025-04-07T06:55:15Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
  大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。 本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T07:41:17Z)
• Resolving Knowledge Conflicts in Large Language Models [46.903549751371415]
  大規模言語モデル(LLM)はしばしば知識の衝突に遭遇する。 知識衝突が発生した場合のLLMのデシラタとは何か,既存のLLMがそれを満たすのかを問う。 文脈知識の矛盾をシミュレートする評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T06:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。