論文の概要: ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2502.15543v2
• Date: Thu, 29 May 2025 06:35:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:33.305183
• Title: ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation
• Title（参考訳）: ParamMute: 忠実検索型生成のための知識批判型FFNの抑制
• Authors: Pengcheng Huang, Zhenghao Liu, Yukun Yan, Haiyan Zhao, Xiaoyuan Yi, Hao Chen, Zhiyuan Liu, Maosong Sun, Tong Xiao, Ge Yu, Chenyan Xiong,
• Abstract要約: 検索強化生成(RAG)と統合された大規模言語モデル(LLM)は,外部証拠のアウトプットを基礎として事実性を向上した。 本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制し,獲得した知識に向けてモデルを校正することにより,文脈的忠実度を向上させるフレームワークであるFFN Suppression (ParamMute) によるパラメトリック知識ミューティングを提案する。
• 参考スコア（独自算出の注目度）: 91.20492150248106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) integrated with retrieval-augmented generation (RAG) have improved factuality by grounding outputs in external evidence. However, they remain susceptible to unfaithful generation, where outputs contradict retrieved context despite its relevance and accuracy. Existing approaches aiming to improve faithfulness primarily focus on enhancing the utilization of external context, but often overlook the persistent influence of internal parametric knowledge during generation. In this work, we investigate the internal mechanisms behind unfaithful generation and identify a subset of mid-to-deep feed-forward networks (FFNs) that are disproportionately activated in such cases. Building on this insight, we propose Parametric Knowledge Muting through FFN Suppression (ParamMute), a framework that improves contextual faithfulness by suppressing the activation of unfaithfulness-associated FFNs and calibrating the model toward retrieved knowledge. To evaluate our approach, we introduce CoFaithfulQA, a benchmark specifically designed to evaluate faithfulness in scenarios where internal knowledge conflicts with accurate external evidence. Experimental results show that ParamMute significantly enhances faithfulness across both CoFaithfulQA and the established ConFiQA benchmark, achieving substantial reductions in reliance on parametric memory. These findings underscore the importance of mitigating internal knowledge dominance and provide a new direction for improving LLM trustworthiness in RAG. All code will be released via GitHub.
• Abstract（参考訳）: 検索強化生成(RAG)と統合された大規模言語モデル(LLM)は,外部証拠のアウトプットを基礎として事実性を向上した。 しかし、これらは、その関連性と正確性にもかかわらず、出力が回復された文脈と矛盾する不信な生成に影響を受けやすいままである。 忠実性向上をめざす既存のアプローチは、主に外部文脈の活用の強化に重点を置いているが、世代間における内的パラメトリック知識の持続的な影響を見落としていることが多い。 本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 この知見に基づいて,不誠実なFFNの活性化を抑え,獲得した知識に向けてモデルを調整することにより,文脈的忠実度を向上させるフレームワークであるFFN Suppression (ParamMute) によるパラメトリック知識ミューティングを提案する。 提案手法を評価するために,内部知識が正確な外部証拠と矛盾するシナリオにおける忠実度を評価するためのベンチマークであるCoFaithfulQAを紹介する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。 これらの知見は,内的知識優位の緩和の重要性を浮き彫りにして,RAGにおけるLCMの信頼性向上に向けた新たな方向性を提供するものである。 すべてのコードはGitHubからリリースされる。

関連論文リスト

• Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Reliable Response Generation in the Wild [11.058848731627233]
  大規模言語モデル (LLM) には高度な情報検索システムがある。 LLMは、しばしば内部記憶と検索された外部情報の間の知識の衝突に直面している。 スウィンVIBは,変分情報ボトルネックモデルのパイプラインを,検索した情報の適応的拡張に統合する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-04-17T14:40:31Z)
• What External Knowledge is Preferred by LLMs? Characterizing and Exploring Chain of Evidence in Imperfect Context [19.78140793942713]
  本稿では,マルチホップQAを扱う際に,LLMが好む不完全な文脈における外部知識に着目した。 犯罪手続法における証拠の連鎖(CoE)に着想を得て, LLMが好む知識は, 問題との関連と, 知識の相互支援の両方を維持すべきである,と特徴づける。 提案手法は,LLMの有効性,忠実性,頑健性,および単純検索型RAG(Retrieval-Augmented Generation)におけるCoEのユーザビリティについて検討するものである。
  論文  参考訳（メタデータ） (2024-12-17T07:49:49Z)
• Understanding the Interplay between Parametric and Contextual Knowledge for Large Language Models [85.13298925375692]
  大規模言語モデル(LLM)は、事前訓練中に大量の知識を符号化する。 LLMは文脈知識(CK)を取り入れることで拡張できる LLMは複雑な問題を解決するために、内部PKと外部CKを効果的に統合できるのか?
  論文  参考訳（メタデータ） (2024-10-10T23:09:08Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• "Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Graphs [15.660128743249611]
  大規模言語モデル(LLM)は、パラメトリック知識として知られる事前学習中に広範な知識を取得する。 LLMは必然的にユーザとの対話中に外部知識を必要とする。 外部知識がパラメトリック知識に干渉した場合、LCMはどのように反応するのだろうか?
  論文  参考訳（メタデータ） (2023-09-15T17:47:59Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts [21.34852490049787]
  本稿では,大規模言語モデル(LLM)の知識衝突時の行動に関する包括的かつ制御された最初の調査について述べる。 LLMは, パラメトリックメモリと矛盾しても, 外部の証拠に対して高い受容性を有することが判明した。 一方、LCMは、外部証拠がパラメトリックメモリと整合した情報を含む場合、強い確証バイアスを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:57:41Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。