論文の概要: INTRYGUE: Induction-Aware Entropy Gating for Reliable RAG Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2603.21607v1
• Date: Mon, 23 Mar 2026 06:02:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.513149
• Title: INTRYGUE: Induction-Aware Entropy Gating for Reliable RAG Uncertainty Estimation
• Title（参考訳）: INRYGUE:信頼性RAG不確実性推定のための誘導型エントロピーゲーティング
• Authors: Alexandra Bazarova, Andrei Volodichev, Daria Kotova, Alexey Zaytsev,
• Abstract要約: 本稿では,標準的なエントロピーに基づく不確実性定量法が,機械的パラドックスによりRAG設定でしばしば失敗することを示す。 文脈利用に固有の内的「綱引き」が出現し、誘導頭部は正しい答えをコピーすることで接地応答を促進するが、それらは以前に確立された「エントロピーニューロン」を左右的に引き起こす 本稿では,誘導ヘッドの活性化パターンに基づいて,予測エントロピーをゲートする機械的基盤手法であるINRYGUEを提案する。
• 参考スコア（独自算出の注目度）: 40.276670786703896
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While retrieval-augmented generation (RAG) significantly improves the factual reliability of LLMs, it does not eliminate hallucinations, so robust uncertainty quantification (UQ) remains essential. In this paper, we reveal that standard entropy-based UQ methods often fail in RAG settings due to a mechanistic paradox. An internal "tug-of-war" inherent to context utilization appears: while induction heads promote grounded responses by copying the correct answer, they collaterally trigger the previously established "entropy neurons". This interaction inflates predictive entropy, causing the model to signal false uncertainty on accurate outputs. To address this, we propose INTRYGUE (Induction-Aware Entropy Gating for Uncertainty Estimation), a mechanistically grounded method that gates predictive entropy based on the activation patterns of induction heads. Evaluated across four RAG benchmarks and six open-source LLMs (4B to 13B parameters), INTRYGUE consistently matches or outperforms a wide range of UQ baselines. Our findings demonstrate that hallucination detection in RAG benefits from combining predictive uncertainty with interpretable, internal signals of context utilization.
• Abstract（参考訳）: 検索増強生成(RAG)はLLMの信頼性を著しく向上させるが、幻覚を排除しないため、堅牢な不確実性定量化(UQ)が不可欠である。 本稿では,標準的なエントロピーに基づくUQ手法が,機械的パラドックスによりRAG設定でしばしば失敗することを明らかにする。 内部の「綱引き」は文脈利用に固有のもので、誘導ヘッドは正しい答えをコピーすることで接地された応答を促進するが、それらは以前に確立された「エントロピーニューロン」を左右に引き起こす。 この相互作用は予測エントロピーを膨らませ、モデルが正確な出力に対して誤った不確実性を示す。 そこで本研究では,誘導ヘッドのアクティベーションパターンに基づいて予測エントロピーをゲートする手法であるINTRYGUE(Induction-Aware Entropy Gating for Uncertainty Estimation)を提案する。 4つのRAGベンチマークと6つのオープンソースLCM(4Bから13Bパラメータ)で評価され、INRYGUEは、広範囲のUQベースラインと一貫して一致または性能を向上する。 以上の結果から,RAGにおける幻覚検出は,予測の不確かさと解釈可能な内部信号との併用による効果が示唆された。

関連論文リスト

• Entropy Alone is Insufficient for Safe Selective Prediction in LLMs [20.664633053172327]
  選択予測システムは、高リスクケースでの回答を控えることで、言語モデル幻覚による害を軽減することができる。 不確実性定量化技術はしばしばそのようなケースを特定するために用いられるが、より広い選択的予測ポリシーの文脈で評価されることはほとんどない。 エントロピーに基づく不確実性手法のモデル依存的故障モードを同定し、エントロピースコアと正当性プローブ信号を組み合わせることで、信頼できない禁忌行動に対処する。
  論文  参考訳（メタデータ） (2026-03-22T11:27:13Z)
• Agentic Uncertainty Quantification [76.94013626702183]
  本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。 システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
  論文  参考訳（メタデータ） (2026-01-22T07:16:26Z)
• InterpDetect: Interpretable Signals for Detecting Hallucinations in Retrieval-Augmented Generation [4.038581147264715]
  幻覚検出には、外部の文脈やパラメトリック知識の貢献を断ち切る必要がある。 我々はRAG幻覚のメカニズムを解明し、後層のFFNモジュールがパラメトリック知識を残留ストリームに不均等に注入した場合にそれらが発生することを見出した。 本研究は,RAGシステムにおける幻覚検出において,機械的信号を効率よく,一般の予測可能として強調するものである。
  論文  参考訳（メタデータ） (2025-10-24T15:02:01Z)
• Semantic Energy: Detecting LLM Hallucination Beyond Entropy [106.92072182161712]
  大規模言語モデル(LLM)は、現実のアプリケーションにますますデプロイされているが、幻覚の影響を受けやすいままである。 不確実性推定は、そのような幻覚を検出するための実現可能なアプローチである。 本稿では,新しい不確実性推定フレームワークであるセマンティック・エナジーを紹介する。
  論文  参考訳（メタデータ） (2025-08-20T07:33:50Z)
• Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
  本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。 本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
  論文  参考訳（メタデータ） (2025-05-27T11:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。