論文の概要: ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2502.15543v2
• Date: Thu, 29 May 2025 06:35:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:33.305183
• Title: ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation
• Title（参考訳）: ParamMute: 忠実検索型生成のための知識批判型FFNの抑制
• Authors: Pengcheng Huang, Zhenghao Liu, Yukun Yan, Haiyan Zhao, Xiaoyuan Yi, Hao Chen, Zhiyuan Liu, Maosong Sun, Tong Xiao, Ge Yu, Chenyan Xiong,
• Abstract要約: 検索強化生成(RAG)と統合された大規模言語モデル(LLM)は,外部証拠のアウトプットを基礎として事実性を向上した。 本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制し,獲得した知識に向けてモデルを校正することにより,文脈的忠実度を向上させるフレームワークであるFFN Suppression (ParamMute) によるパラメトリック知識ミューティングを提案する。
• 参考スコア（独自算出の注目度）: 91.20492150248106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) integrated with retrieval-augmented generation (RAG) have improved factuality by grounding outputs in external evidence. However, they remain susceptible to unfaithful generation, where outputs contradict retrieved context despite its relevance and accuracy. Existing approaches aiming to improve faithfulness primarily focus on enhancing the utilization of external context, but often overlook the persistent influence of internal parametric knowledge during generation. In this work, we investigate the internal mechanisms behind unfaithful generation and identify a subset of mid-to-deep feed-forward networks (FFNs) that are disproportionately activated in such cases. Building on this insight, we propose Parametric Knowledge Muting through FFN Suppression (ParamMute), a framework that improves contextual faithfulness by suppressing the activation of unfaithfulness-associated FFNs and calibrating the model toward retrieved knowledge. To evaluate our approach, we introduce CoFaithfulQA, a benchmark specifically designed to evaluate faithfulness in scenarios where internal knowledge conflicts with accurate external evidence. Experimental results show that ParamMute significantly enhances faithfulness across both CoFaithfulQA and the established ConFiQA benchmark, achieving substantial reductions in reliance on parametric memory. These findings underscore the importance of mitigating internal knowledge dominance and provide a new direction for improving LLM trustworthiness in RAG. All code will be released via GitHub.
• Abstract（参考訳）: 検索強化生成(RAG)と統合された大規模言語モデル(LLM)は,外部証拠のアウトプットを基礎として事実性を向上した。 しかし、これらは、その関連性と正確性にもかかわらず、出力が回復された文脈と矛盾する不信な生成に影響を受けやすいままである。 忠実性向上をめざす既存のアプローチは、主に外部文脈の活用の強化に重点を置いているが、世代間における内的パラメトリック知識の持続的な影響を見落としていることが多い。 本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 この知見に基づいて,不誠実なFFNの活性化を抑え,獲得した知識に向けてモデルを調整することにより,文脈的忠実度を向上させるフレームワークであるFFN Suppression (ParamMute) によるパラメトリック知識ミューティングを提案する。 提案手法を評価するために,内部知識が正確な外部証拠と矛盾するシナリオにおける忠実度を評価するためのベンチマークであるCoFaithfulQAを紹介する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。 これらの知見は,内的知識優位の緩和の重要性を浮き彫りにして,RAGにおけるLCMの信頼性向上に向けた新たな方向性を提供するものである。 すべてのコードはGitHubからリリースされる。

関連論文リスト

• RADIANT: Retrieval AugmenteD entIty-context AligNmenT -- Introducing RAG-ability and Entity-Context Divergence [5.066415370344766]
  Retrieval-Augmented Generation (RAG) は、外部知識を生成プロセスに統合することにより、事実の精度を高める技術である。 本稿では,得られた証拠と生成されたコンテンツとの相互作用を最適化するために,RAGとアライメントを組み合わせたフレームワークであるRadiantを紹介する。
  論文  参考訳（メタデータ） (2025-06-28T21:40:35Z)
• Bridging External and Parametric Knowledge: Mitigating Hallucination of LLMs with Shared-Private Semantic Synergy in Dual-Stream Knowledge [19.767087192966223]
  本稿では,DSSP-RAG(Shared-Private Semantic Synergy)のためのDual-Stream Knowledge-Augmented Frameworkを提案する。 フレームワークの中心は、自己意識を混合意識に洗練し、制御された内外的知識統合のための共有とプライベートのセマンティクスを区別する、新しいアプローチである。 ベンチマークデータセットの実験では、DSSP-RAGは競合を効果的に解決し、二重ストリーム知識の相補性を向上し、強いベースラインよりも優れたパフォーマンスをもたらすことが示されている。
  論文  参考訳（メタデータ） (2025-06-06T17:00:23Z)
• Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
  本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。 本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
  論文  参考訳（メタデータ） (2025-05-27T11:56:59Z)
• Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG [51.120170062795566]
  本稿では,問合せが知識境界外にある場合の"I don't know"で応答する機能を備えたRAGシステムを実現するためのDTAを提案する。 DTAは適切な棄権と精度のバランスをとり、検索強化システムの信頼性と信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-27T08:21:21Z)
• Safety Devolution in AI Agents [56.482973617087254]
  本研究では,検索アクセスの拡大がモデル信頼性,バイアス伝搬,有害コンテンツ生成に与える影響について検討した。 整列 LLM 上に構築された検索補助エージェントは、検索なしでの無検閲モデルよりも安全でない振る舞いをすることが多い。 これらの発見は、検索が強化され、ますます自律的なAIシステムにおいて、公正性と信頼性を確保するための堅牢な緩和戦略の必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-20T11:21:40Z)
• Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Reliable Response Generation in the Wild [11.058848731627233]
  大規模言語モデル (LLM) には高度な情報検索システムがある。 LLMは、しばしば内部記憶と検索された外部情報の間の知識の衝突に直面している。 スウィンVIBは,変分情報ボトルネックモデルのパイプラインを,検索した情報の適応的拡張に統合する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-04-17T14:40:31Z)
• RbFT: Robust Fine-tuning for Retrieval-Augmented Generation against Retrieval Defects [12.5122702720856]
  本稿では,検索欠陥に対する大規模言語モデルのレジリエンスを高めるために,Robust Fine-Tuning (RbFT)を提案する。 実験の結果,RbFTは多様な検索条件におけるRAGシステムのロバスト性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-01-30T14:15:09Z)
• Improving Contextual Faithfulness of Large Language Models via Retrieval Heads-Induced Optimization [35.269343563526675]
  我々は,大規模言語モデルに忠実な世代と不誠実な世代を明確に区別するためのフレームワークであるRHIOを提案する。 RHIOは、検索ヘッドを選択的にマスキングすることで、現実的なモデル固有のエラーをシミュレートする不誠実なサンプルを最初に強化する。 これらのサンプルは共同トレーニングに組み込まれ、制御トークンに条件付けられた忠実なものから不誠実な出力を区別することができる。
  論文  参考訳（メタデータ） (2025-01-23T11:23:25Z)
• What External Knowledge is Preferred by LLMs? Characterizing and Exploring Chain of Evidence in Imperfect Context [19.78140793942713]
  本稿では,マルチホップQAを扱う際に,LLMが好む不完全な文脈における外部知識に着目した。 犯罪手続法における証拠の連鎖(CoE)に着想を得て, LLMが好む知識は, 問題との関連と, 知識の相互支援の両方を維持すべきである,と特徴づける。 提案手法は,LLMの有効性,忠実性,頑健性,および単純検索型RAG(Retrieval-Augmented Generation)におけるCoEのユーザビリティについて検討するものである。
  論文  参考訳（メタデータ） (2024-12-17T07:49:49Z)
• Understanding the Interplay between Parametric and Contextual Knowledge for Large Language Models [85.13298925375692]
  大規模言語モデル(LLM)は、事前訓練中に大量の知識を符号化する。 LLMは文脈知識(CK)を取り入れることで拡張できる LLMは複雑な問題を解決するために、内部PKと外部CKを効果的に統合できるのか?
  論文  参考訳（メタデータ） (2024-10-10T23:09:08Z)
• Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
  Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。 本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。 また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
  論文  参考訳（メタデータ） (2024-06-19T16:42:57Z)
• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• "Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Graphs [15.660128743249611]
  大規模言語モデル(LLM)は、パラメトリック知識として知られる事前学習中に広範な知識を取得する。 LLMは必然的にユーザとの対話中に外部知識を必要とする。 外部知識がパラメトリック知識に干渉した場合、LCMはどのように反応するのだろうか?
  論文  参考訳（メタデータ） (2023-09-15T17:47:59Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Adaptive Chameleon or Stubborn Sloth: Revealing the Behavior of Large Language Models in Knowledge Conflicts [21.34852490049787]
  本稿では,大規模言語モデル(LLM)の知識衝突時の行動に関する包括的かつ制御された最初の調査について述べる。 LLMは, パラメトリックメモリと矛盾しても, 外部の証拠に対して高い受容性を有することが判明した。 一方、LCMは、外部証拠がパラメトリックメモリと整合した情報を含む場合、強い確証バイアスを示す。
  論文  参考訳（メタデータ） (2023-05-22T17:57:41Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。