論文の概要: LFD: Layer Fused Decoding to Exploit External Knowledge in Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2508.19614v1
• Date: Wed, 27 Aug 2025 06:48:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.530161
• Title: LFD: Layer Fused Decoding to Exploit External Knowledge in Retrieval-Augmented Generation
• Title（参考訳）: LFD:階層フューズドデコーディングによる検索拡張ジェネレーションにおける外部知識の爆発
• Authors: Yang Sun, Lixin Zou, Dan Luo, Zhiyong Xie, Long Zhang, Liming Dong, Yunwei Zhao, Xixun Lin, Yanxiong Lu, Chenliang Li,
• Abstract要約: Retrieval-augmented Generation (RAG)は、外部知識を大規模言語モデル(LLM)に組み込む。 最近の実証的証拠は、取得した関連文書にノイズを注入することで、外部知識の活用がパラドックス的に促進され、生成品質が向上することを示している。 本稿では,中間層からの表現と最終層からのデコード出力を直接結合する単純なデコード戦略であるLayer Fused Decoding (LFD)を提案する。
• 参考スコア（独自算出の注目度）: 32.430477043695376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) incorporates external knowledge into large language models (LLMs), improving their adaptability to downstream tasks and enabling information updates. Surprisingly, recent empirical evidence demonstrates that injecting noise into retrieved relevant documents paradoxically facilitates exploitation of external knowledge and improves generation quality. Although counterintuitive and challenging to apply in practice, this phenomenon enables granular control and rigorous analysis of how LLMs integrate external knowledge. Therefore, in this paper, we intervene on noise injection and establish a layer-specific functional demarcation within the LLM: shallow layers specialize in local context modeling, intermediate layers focus on integrating long-range external factual knowledge, and deeper layers primarily rely on parametric internal knowledge. Building on this insight, we propose Layer Fused Decoding (LFD), a simple decoding strategy that directly combines representations from an intermediate layer with final-layer decoding outputs to fully exploit the external factual knowledge. To identify the optimal intermediate layer, we introduce an internal knowledge score (IKS) criterion that selects the layer with the lowest IKS value in the latter half of layers. Experimental results across multiple benchmarks demonstrate that LFD helps RAG systems more effectively surface retrieved context knowledge with minimal cost.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、外部知識を大規模言語モデル(LLM)に組み込んで、下流タスクへの適応性を改善し、情報更新を可能にする。 意外なことに、最近の経験的証拠は、取得した関連文書にノイズを注入することで、外部知識の活用がパラドックス的に促進され、生成品質が向上することを示している。 実際に適用することは直感的かつ困難であるが、この現象はLLMが外部知識を統合する方法のきめ細かい制御と厳密な分析を可能にする。 そこで,本稿では騒音注入に介入し,LLM内の層特異的機能境界を確立する。局所的コンテキストモデリングに特化した浅層,長期的外的事実知識の統合に焦点を当てた中間層,特にパラメトリックな内部知識に依存した深い層である。 この知見に基づいて、中間層からの表現と最終層からのデコード出力を直接結合して外部の事実知識を完全に活用する単純なデコーディング戦略である、レイヤフューズドデコーディング(LFD)を提案する。 最適中間層を特定するために,内部知識スコア(IKS)基準を導入する。 複数のベンチマークによる実験結果から、LFDは、検索したコンテキスト知識をより効果的に、最小限のコストで表面化するのに有効であることが示された。

関連論文リスト

• DeepSieve: Information Sieving via LLM-as-a-Knowledge-Router [57.28685457991806]
  DeepSieveはエージェントRAGフレームワークで、LLM-as-a-knowledge-routerを介して情報を収集する。 我々の設計はモジュール性、透明性、適応性を重視しており、エージェントシステム設計の最近の進歩を活用している。
  論文  参考訳（メタデータ） (2025-07-29T17:55:23Z)
• Dynamic and Parametric Retrieval-Augmented Generation [17.311144793201652]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデルに外部知識を持たせるための基礎パラダイムとなっている。 このチュートリアルは、RAG(Dynamic RAG)とParametric RAG(Parametric RAG)という、急速に成長し、補完的な2つの研究領域に展開している。
  論文  参考訳（メタデータ） (2025-06-07T07:59:33Z)
• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• Exploiting Contextual Knowledge in LLMs through V-usable Information based Layer Enhancement [20.183957585014042]
  本研究では,大規模言語モデルにおける文脈知識の活用を促進するために,コンテキスト認識層拡張(CaLE)を提案する。 CaLEは、最適層におけるコンテキスト情報の成長を戦略的に増幅し、最終層における表現を豊かにする。 本実験は,質問応答タスクにおいて,CaLEが文脈忠実な生成を効果的に改善できることを実証する。
  論文  参考訳（メタデータ） (2025-04-22T06:42:22Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。 実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• Wiki-LLaVA: Hierarchical Retrieval-Augmented Generation for Multimodal LLMs [39.54891426369773]
  外部知識を必要とする疑問に答える能力を備えたモデルの提供に注力する。 我々のアプローチはWiki-LLaVAと呼ばれ、マルチモーダル文書の外部知識ソースを統合することを目的としている。 我々は,外部データによる視覚的質問応答に適したデータセットについて広範な実験を行い,その妥当性を実証する。
  論文  参考訳（メタデータ） (2024-04-23T18:00:09Z)
• BlendFilter: Advancing Retrieval-Augmented Large Language Models via Query Generation Blending and Knowledge Filtering [58.403898834018285]
  BlendFilterは、知識フィルタリングと組み合わせたクエリ生成を統合することで、検索強化された大規模言語モデルを高める新しいアプローチである。 我々は3つのオープンドメイン質問応答ベンチマークで広範な実験を行い、我々の革新的なBlendFilterが最先端のベースラインをはるかに上回っていることを明らかにした。
  論文  参考訳（メタデータ） (2024-02-16T23:28:02Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。