論文の概要: Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement

• arxiv url: http://arxiv.org/abs/2602.09486v1
• Date: Tue, 10 Feb 2026 07:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.428009
• Title: Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement
• Title（参考訳）: 層に耳を傾ける:層間診断による幻覚の緩和
• Authors: Koduvayur Subbalakshmi, Sabbir Hossain Ujjal, Venkata Krishna Teja Mangichetty, Nastaran Jamalipour Soofi,
• Abstract要約: 事前訓練された大言語モデル(LLMs)は、幻覚として知られる事実的不正確なテキストを生成する傾向にある。 本研究では,中間層でこれらの信号を聴くことによって,推論時に幻覚を緩和する,新しい学習自由復号アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.24443539255794253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained Large Language Models (LLMs) are prone to generating fluent yet factually incorrect text-a phenomenon known as hallucinations, undermining their reliability and utility in downstream tasks. We hypothesize that a generated text span's factuality is correlated with its representational instability across the model's internal layers. Based on this, we propose the CoCoA (Confusion and Consistency Aware) decoder, a novel, training-free decoding algorithm that mitigates hallucinations at inference time by listening to these signals in the middle layers. We propose two metrics to quantify this instability in the middle layers, and use it to penalize outputs that exhibit high internal confusion, thereby steering the model towards more internally consistent and factually grounded outputs. We further propose a self-information gated variant, CoCoA-SIG, that dynamically modulates this penalty to selectively target high-surprise, unstable generations. Extensive experiments on diverse tasks, including question-answering, summarization and code generation demonstrate that CoCoA significantly improves factual correctness across multiple model families (e.g., Llama-3, Qwen-2.5, Mistral). By leveraging model-intrinsic signals, CoCoA offers an effective and broadly applicable method for enhancing the trustworthiness of LLMs at inference time, without requiring any model retraining.
• Abstract（参考訳）: 事前訓練された大規模言語モデル(LLMs)は、幻覚として知られる、流動的かつ事実的に誤ったテキストを生成する傾向にあり、下流タスクにおける信頼性と実用性を損なう。 生成したテキストの事実性は、モデルの内部層にまたがる表現的不安定性と相関していると仮定する。 そこで本研究では,中間層でこれらの信号を聴くことで,推論時に幻覚を緩和する新しい訓練不要復号アルゴリズムであるCoCoAデコーダを提案する。 本研究では,中間層におけるこの不安定度を定量化するための2つの指標を提案する。 さらに、このペナルティを動的に調整し、高サプライズで不安定な世代を選択的にターゲットする自己情報ゲート変種CoCoA-SIGを提案する。 質問応答や要約,コード生成など,さまざまなタスクに関する広範な実験により,CoCoAが複数のモデルファミリ(Llama-3,Qwen-2.5,Mistralなど)の事実的正確性を大幅に向上することが示された。 モデル固有の信号を活用することで、CoCoAはモデル再訓練を必要とせず、推論時にLLMの信頼性を高める効果的で広く適用可能な方法を提供する。

関連論文リスト

• CoFi-Dec: Hallucination-Resistant Decoding via Coarse-to-Fine Generative Feedback in Large Vision-Language Models [14.570869250170139]
  LVLM(Large Vision-Language Models)は、マルチモーダル理解と生成において顕著な進歩を遂げた。 CoFi-Decは、生成的自己フィードバックと粗い視覚条件を統合することで幻覚を緩和する、トレーニング不要なデコーディングフレームワークである。 実験により、CoFi-Decはエンティティレベルとセマンティックレベルの両方の幻覚を著しく減らし、既存の復号戦略より優れていることが示された。
  論文  参考訳（メタデータ） (2025-12-29T13:23:20Z)
• QuCo-RAG: Quantifying Uncertainty from the Pre-training Corpus for Dynamic Retrieval-Augmented Generation [14.312693191309101]
  Dynamic Retrieval-Augmented Generationは、大規模言語モデルにおける幻覚への生成時にいつ取得するかを適応的に決定する。 本稿では,主観的信頼度から事前学習データから客観的統計へ移行したQuCo-RAGを提案する。 提案手法は,(1) 生成前, 長い尾の知識ギャップを示す低周波の実体を同定し, (2) 生成中, 学習前コーパスにおけるエンティティ共起を検証し, ゼロ共起が幻覚のリスクを生じさせる。
  論文  参考訳（メタデータ） (2025-12-22T08:28:05Z)
• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• HAVE: Head-Adaptive Gating and ValuE Calibration for Hallucination Mitigation in Large Language Models [29.677280135028436]
  LLM(Large Language Models)は、検索強化または長文生成において幻覚を生じることが多い。 HAVE(Head-Adaptive Gating and ValuE)は,頭部重みと生の注意重みに対処するパラメータフリーデコードフレームワークである。 HAVEは一貫して幻覚を減らし、DAGCDを含む強力なベースラインをわずかに上回っている。
  論文  参考訳（メタデータ） (2025-09-08T12:06:09Z)
• Rethinking Layer-wise Model Merging through Chain of Merges [21.26982153528304]
  Chain of Merges(CoM)は、層間で重みを順次マージし、アクティベーション統計を逐次更新するレイヤワイドマージ手順である。 標準ベンチマークの実験では、CoMが最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-08-29T08:44:47Z)
• LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。 本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。 提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-06T14:35:43Z)
• DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
  拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。 本研究は,それらの認知過程と強化学習手法について考察する。 我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
  論文  参考訳（メタデータ） (2025-06-25T17:35:47Z)
• Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
  大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。 我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。 モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-27T16:24:02Z)
• Improving the Reliability of LLMs: Combining CoT, RAG, Self-Consistency, and Self-Verification [1.5095869543963976]
  大規模言語モデル(LLM)は、自信はあるが不正確または無関係な情報を生成する。 幻覚は、複雑でオープンなタスクへの応用において重要な限界である。 本研究では,CoT(Chain-of- Thought)とRAG(Research-augmented Generation)を組み合わせることで幻覚を抑える方法について検討する。
  論文  参考訳（メタデータ） (2025-05-13T23:57:02Z)
• Lower Layers Matter: Alleviating Hallucination via Multi-Layer Fusion Contrastive Decoding with Truthfulness Refocused [27.894293943142447]
  大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて例外的な性能を示した。 彼らは時に「幻覚」と呼ばれる現象である不正確で反事実的な出力を発生させる。
  論文  参考訳（メタデータ） (2024-08-16T14:23:59Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
  大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。 事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。 コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
  論文  参考訳（メタデータ） (2023-09-07T17:45:31Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。