論文の概要: Bridging External and Parametric Knowledge: Mitigating Hallucination of LLMs with Shared-Private Semantic Synergy in Dual-Stream Knowledge

• arxiv url: http://arxiv.org/abs/2506.06240v1
• Date: Fri, 06 Jun 2025 17:00:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.561716
• Title: Bridging External and Parametric Knowledge: Mitigating Hallucination of LLMs with Shared-Private Semantic Synergy in Dual-Stream Knowledge
• Title（参考訳）: 外部知識とパラメトリック知識のブリッジ:デュアルストリーム知識における共有生成セマンティックシナジーによるLLMの幻覚の軽減
• Authors: Yi Sui, Chaozhuo Li, Chen Zhang, Dawei song, Qiuchi Li,
• Abstract要約: 本稿では,DSSP-RAG(Shared-Private Semantic Synergy)のためのDual-Stream Knowledge-Augmented Frameworkを提案する。 フレームワークの中心は、自己意識を混合意識に洗練し、制御された内外的知識統合のための共有とプライベートのセマンティクスを区別する、新しいアプローチである。 ベンチマークデータセットの実験では、DSSP-RAGは競合を効果的に解決し、二重ストリーム知識の相補性を向上し、強いベースラインよりも優れたパフォーマンスをもたらすことが示されている。
• 参考スコア（独自算出の注目度）: 19.767087192966223
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-augmented generation (RAG) is a cost-effective approach to mitigate the hallucination of Large Language Models (LLMs) by incorporating the retrieved external knowledge into the generation process. However, external knowledge may conflict with the parametric knowledge of LLMs. Furthermore, current LLMs lack inherent mechanisms for resolving such knowledge conflicts, making traditional RAG methods suffer from degraded performance and stability. Thus, we propose a Dual-Stream Knowledge-Augmented Framework for Shared-Private Semantic Synergy (DSSP-RAG). Central to the framework is a novel approach that refines self-attention into a mixed-attention, distinguishing shared and private semantics for a controlled internal-external knowledge integration. To effectively facilitate DSSP in RAG, we further introduce an unsupervised hallucination detection method based on cognitive uncertainty, ensuring the necessity of introducing knowledge, and an Energy Quotient (EQ) based on attention difference matrices to reduce noise in the retrieved external knowledge. Extensive experiments on benchmark datasets show that DSSP-RAG can effectively resolve conflicts and enhance the complementarity of dual-stream knowledge, leading to superior performance over strong baselines.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、検索した外部知識を生成プロセスに組み込むことで、Large Language Models (LLM) の幻覚を緩和するためのコスト効率の良いアプローチである。 しかし、外部知識はLLMのパラメトリック知識と矛盾する可能性がある。 さらに,従来のRAG手法は性能低下や安定性の低下に悩まされるため,このような知識衝突を解決するメカニズムが欠如している。 そこで我々は,DSSP-RAG(Dual-Stream Knowledge-Augmented Framework for Shared-Private Semantic Synergy)を提案する。 フレームワークの中心は、自己意識を混合意識に洗練し、制御された内外的知識統合のための共有とプライベートのセマンティクスを区別する、新しいアプローチである。 RAGにおけるDSSPを効果的に活用するために,認知的不確実性に基づく教師なし幻覚検出手法を導入し,知識の導入の必要性を保証するとともに,注意差行列に基づくEQ(Energy Quotient)を導入して,検索した外部知識のノイズを低減する。 ベンチマークデータセットの大規模な実験により、DSSP-RAGは競合を効果的に解決し、二重ストリーム知識の相補性を向上し、強いベースラインよりも優れたパフォーマンスをもたらすことが示されている。

関連論文リスト

• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• Reinforced Internal-External Knowledge Synergistic Reasoning for Efficient Adaptive Search Agent [13.38972389476201]
  本稿では、強化内外的知識相乗的推論エージェント(IKEA)を紹介する。 池Aは、内部知識が不十分と判断された場合にのみ外部探索に頼って、独自の知識境界を確定し、内部知識の利用を優先することができる。 IKEAはベースライン法を著しく上回り、検索回数を大幅に削減し、堅牢な一般化能力を示す。
  論文  参考訳（メタデータ） (2025-05-12T14:21:57Z)
• ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
  検索強化生成(RAG)と統合された大規模言語モデル(LLM)は,外部証拠のアウトプットを基礎として事実性を向上した。 本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。 本研究では,不信感関連FFNの活性化を抑制し,獲得した知識に向けてモデルを校正することにより,文脈的忠実度を向上させるフレームワークであるFFN Suppression (ParamMute) によるパラメトリック知識ミューティングを提案する。
  論文  参考訳（メタデータ） (2025-02-21T15:50:41Z)
• UniKnow: A Unified Framework for Reliable Language Model Behavior across Parametric and External Knowledge [14.81530569173485]
  パラメトリックおよび外部知識にまたがる信頼性LM動作のための統一フレームワークUniKnowを紹介する。 UniKnowは、知識の衝突、気晴らし、不在状態などの知識シナリオにおける制御された評価を可能にする。
  論文  参考訳（メタデータ） (2025-02-19T11:49:23Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models [20.605487145370752]
  不完全な検索強化は避けられ、一般的であり、有害であることがわかった。 本稿では,不完全検索拡張に耐性を持つ新しいRAG手法であるAstute RAGを提案する。 GeminiとClaudeによる実験は、従来の堅牢性強化RAGアプローチと比較して、Astute RAGの優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-09T17:59:58Z)
• Evaluating the External and Parametric Knowledge Fusion of Large Language Models [72.40026897037814]
  我々は、知識融合シナリオをシミュレートするデータ構築と知識注入のための体系的なパイプラインを開発する。 本研究は, LLMにおけるパラメトリック知識の強化が, 知識統合能力を大幅に向上させることを明らかにした。 本研究の目的は,LLM内の外部およびパラメトリック知識の調和を図ることにある。
  論文  参考訳（メタデータ） (2024-05-29T11:48:27Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。