論文の概要: Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2505.11995v1
• Date: Sat, 17 May 2025 13:13:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.977087
• Title: Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation
• Title（参考訳）: LLMを用いた検索学習における知識活用メカニズムの解明
• Authors: Yuhao Wang, Ruiyang Ren, Yucheng Wang, Wayne Xin Zhao, Jing Liu, Hua Wu, Haifeng Wang,
• Abstract要約: 検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
• 参考スコア（独自算出の注目度）: 77.10390725623125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Considering the inherent limitations of parametric knowledge in large language models (LLMs), retrieval-augmented generation (RAG) is widely employed to expand their knowledge scope. Since RAG has shown promise in knowledge-intensive tasks like open-domain question answering, its broader application to complex tasks and intelligent assistants has further advanced its utility. Despite this progress, the underlying knowledge utilization mechanisms of LLM-based RAG remain underexplored. In this paper, we present a systematic investigation of the intrinsic mechanisms by which LLMs integrate internal (parametric) and external (retrieved) knowledge in RAG scenarios. Specially, we employ knowledge stream analysis at the macroscopic level, and investigate the function of individual modules at the microscopic level. Drawing on knowledge streaming analyses, we decompose the knowledge utilization process into four distinct stages within LLM layers: knowledge refinement, knowledge elicitation, knowledge expression, and knowledge contestation. We further demonstrate that the relevance of passages guides the streaming of knowledge through these stages. At the module level, we introduce a new method, knowledge activation probability entropy (KAPE) for neuron identification associated with either internal or external knowledge. By selectively deactivating these neurons, we achieve targeted shifts in the LLM's reliance on one knowledge source over the other. Moreover, we discern complementary roles for multi-head attention and multi-layer perceptron layers during knowledge formation. These insights offer a foundation for improving interpretability and reliability in retrieval-augmented LLMs, paving the way for more robust and transparent generative solutions in knowledge-intensive domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)におけるパラメトリック知識の固有の制限を考慮すると、検索強化生成(RAG)は、その知識範囲を拡大するために広く用いられている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 この進歩にもかかわらず、LLMベースのRAGの知識利用メカニズムは未解明のままである。 本稿では,LLMが内部(パラメトリック)と外部(検索)の知識をRAGシナリオに統合する本質的なメカニズムを体系的に検討する。 具体的には,マクロレベルでの知識ストリーム解析を採用し,顕微鏡レベルでの個々のモジュールの機能について検討する。 知識ストリーミング分析に基づいて,知識活用過程を,知識の洗練,知識の活用,知識表現,知識コンテストの4つの段階に分割する。 さらに、通路の関連性は、これらの段階を通して知識の流れを導くことを実証する。 モジュールレベルでは、内部知識または外部知識に関連するニューロン識別のための知識活性化確率エントロピー(KAPE)という新しい手法を導入する。 これらのニューロンを選択的に不活性化させることで、一方の知識源に依存しているLLMの目標シフトを達成する。 さらに,知識形成における多面的注意層と多層パーセプトロン層の相補的役割を識別する。 これらの知見は、検索強化LDMにおける解釈可能性と信頼性の向上の基礎となり、知識集約ドメインにおけるより堅牢で透明な生成ソリューションの道を開いた。

関連論文リスト

• Introspective Growth: Automatically Advancing LLM Expertise in Technology Judgment [0.0]
  大きな言語モデル(LLM)は、概念的理解の兆候をますます示している。 彼らの内部知識の多くは、潜伏し、ゆるやかに構造化され、アクセスや評価が難しいままである。 LLMの理解を改善するための軽量でスケーラブルな戦略として,自己問合せを提案する。
  論文  参考訳（メタデータ） (2025-05-18T15:04:02Z)
• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
  本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
  論文  参考訳（メタデータ） (2024-07-22T06:15:59Z)
• Evaluating the External and Parametric Knowledge Fusion of Large Language Models [72.40026897037814]
  我々は、知識融合シナリオをシミュレートするデータ構築と知識注入のための体系的なパイプラインを開発する。 本研究は, LLMにおけるパラメトリック知識の強化が, 知識統合能力を大幅に向上させることを明らかにした。 本研究の目的は,LLM内の外部およびパラメトリック知識の調和を図ることにある。
  論文  参考訳（メタデータ） (2024-05-29T11:48:27Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。