論文の概要: SEReDeEP: Hallucination Detection in Retrieval-Augmented Models via Semantic Entropy and Context-Parameter Fusion

• arxiv url: http://arxiv.org/abs/2505.07528v1
• Date: Mon, 12 May 2025 13:10:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.387765
• Title: SEReDeEP: Hallucination Detection in Retrieval-Augmented Models via Semantic Entropy and Context-Parameter Fusion
• Title（参考訳）: SEReDeEP:セマンティックエントロピーとコンテキストパラメータ融合による検索拡張モデルにおける幻覚検出
• Authors: Lei Wang,
• Abstract要約: 実証的研究は、外的文脈情報と内的パラメトリック知識との間の不均衡が幻覚発生の主要な要因であることを示した。 最近提案されたReDeEPフレームワークは、これら2つのメカニズムを分離している。 本稿では, 線形プローブを用いた意味エントロピーによる計算処理を効率化するSEReDeEPを提案する。
• 参考スコア（独自算出の注目度）: 2.7064617166078087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) models frequently encounter hallucination phenomena when integrating external information with internal parametric knowledge. Empirical studies demonstrate that the disequilibrium between external contextual information and internal parametric knowledge constitutes a primary factor in hallucination generation. Existing hallucination detection methodologies predominantly emphasize either the external or internal mechanism in isolation, thereby overlooking their synergistic effects. The recently proposed ReDeEP framework decouples these dual mechanisms, identifying two critical contributors to hallucinations: excessive reliance on parametric knowledge encoded in feed-forward networks (FFN) and insufficient utilization of external information by attention mechanisms (particularly copy heads). ReDeEP quantitatively assesses these factors to detect hallucinations and dynamically modulates the contributions of FFNs and copy heads to attenuate their occurrence. Nevertheless, ReDeEP and numerous other hallucination detection approaches have been employed at logit-level uncertainty estimation or language-level self-consistency evaluation, inadequately address the semantic dimensions of model responses, resulting in inconsistent hallucination assessments in RAG implementations. Building upon ReDeEP's foundation, this paper introduces SEReDeEP, which enhances computational processes through semantic entropy captured via trained linear probes, thereby achieving hallucination assessments that more accurately reflect ground truth evaluations.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)モデルは、外部情報と内部パラメトリック知識を統合する際に、幻覚現象に頻繁に遭遇する。 実証的研究は、外的文脈情報と内的パラメトリック知識との間の不均衡が幻覚発生の主要な要因であることを示した。 既存の幻覚検出手法は、主に外部または内部のメカニズムの分離を強調し、それによってそれらの相乗効果を見越す。 フィードフォワードネットワーク(FFN)に符号化されたパラメトリック知識への過度依存と、注意機構(特にコピーヘッド)による外部情報の不十分な利用である。 ReDeEPはこれらの因子を定量的に評価し、幻覚を検知し、FFNとコピーヘッドの寄与を動的に調節し、それらの発生を阻害する。 それにもかかわらず、ReDeEPや他の多くの幻覚検出手法は、ロジトレベルの不確実性評価や言語レベルの自己整合性評価に使われ、モデル応答のセマンティックディメンションに不適切に対応し、RAG実装において不整合幻覚評価をもたらす。 本稿では,ReDeEPの基盤となるSEReDeEPを提案する。このSEReDeEPは,訓練された線形プローブによって得られたセマンティックエントロピーによって計算処理を向上し,より正確な真実評価を反映した幻覚評価を実現する。

関連論文リスト

• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [67.14942827452161]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• ReDeEP: Detecting Hallucination in Retrieval-Augmented Generation via Mechanistic Interpretability [27.325766792146936]
  パラメトリック(内部)知識の不足によって引き起こされる幻覚。 このような幻覚を検出するには、Large Language Models (LLM) が外部とパラメトリックの知識をどのように利用するかを理解する必要がある。 本稿では,LLMの外部文脈とパラメトリック知識を分離して幻覚を検出する手法であるReDeEPを提案する。
  論文  参考訳（メタデータ） (2024-10-15T09:02:09Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• INSIDE: LLMs' Internal States Retain the Power of Hallucination Detection [39.52923659121416]
  本稿では,textbfinternal textbfStates内に保持される密接な意味情報について,HoluctextbfInation textbfDEtectionについて検討する。 応答の自己整合性をよりよく評価するために、単純で効果的な textbfEigenScore メトリクスが提案されている。 内部状態における極端なアクティベーションを阻害するために,テスト時間特徴クリッピング手法を提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:23:12Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Elastic Weight Removal for Faithful and Abstractive Dialogue Generation [61.40951756070646]
  対話システムは、関連する文書に含まれる知識に忠実な応答を生成するべきである。 多くのモデルは、それと矛盾したり、検証不可能な情報を含んでいる代わりに幻覚応答を生成する。 本手法は,幻覚と抽出反応を同時に阻止するために拡張できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-30T17:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。