論文の概要: Mitigating Hallucinations in Large Language Models Via Decoder Layer Skipping
- arxiv url: http://arxiv.org/abs/2606.00819v1
- Date: Sat, 30 May 2026 17:40:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.863849
- Title: Mitigating Hallucinations in Large Language Models Via Decoder Layer Skipping
- Title（参考訳）: デコーダ層スキッピングによる大規模言語モデルにおける幻覚の緩和
- Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語タスクで高いパフォーマンスを達成しているが、その出力は幻覚に悩まされることが多い。
textbfDeLask(textbfDecoder textbfLayer textbfSkipping)は、動的にレイヤをスキップして幻覚を発生させる新しいデコードフレームワークである。
- 参考スコア（独自算出の注目度）: 5.1633106935903275
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have achieved strong performance across diverse natural language tasks, yet their outputs often suffer from hallucinations -- content that is misaligned with factual information. In this work, we conduct a comprehensive layer-wise analysis of the decoding process and reveal that hallucinations tend to originate from deeper decoder layers. To address this issue, we introduce \textbf{DeLask} (\textbf{De}coder \textbf{La}yer \textbf{Sk}ipping), a novel decoding framework that dynamically skips layers prone to producing hallucinations. DeLask leverages the theoretical insight that the forward computation of an $L$-layer Transformer is conditionally equivalent to $L$ steps of gradient descent. We define a \emph{driftance value} by computing the cosine similarity between gradients derived from consecutive decoder steps, identifying problematic layers when the descent direction reverses. Rather than discarding such layers entirely, DeLask partially aggregates their hidden states with preceding layers, thereby preserving consistency while suppressing erroneous signals. Extensive experiments across diverse LLMs and benchmarks demonstrate that DeLask consistently mitigates hallucinations and enhances overall reliability, providing a lightweight and generalizable decoding framework for improving the robustness of large-scale language models.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまな自然言語タスクにおいて強力なパフォーマンスを達成しているが、その出力はしばしば幻覚に悩まされる。
本研究では,復号化過程の包括的層解析を行い,より深い復号化層から幻覚が生じる傾向があることを示す。
この問題に対処するために、動的にレイヤをスキップして幻覚を生成する新しいデコーディングフレームワークである \textbf{DeLask} (\textbf{De}coder \textbf{La}yer \textbf{Sk}ipping) を紹介する。
DeLaskは、$L$層変換器の前方計算が勾配降下の$L$ステップと条件的に等価であるという理論的な洞察を利用する。
我々は、連続デコーダステップから導かれる勾配のコサイン類似性を計算し、降下方向が逆になるときに問題のある層を特定することで、'emph{driftance value} を定義する。
これらの層を完全に破棄する代わりに、DeLaskは隠された状態を前層で部分的に集約し、誤った信号を抑えながら一貫性を保つ。
多様なLLMとベンチマークにわたる広範な実験により、DeLaskは幻覚を一貫して緩和し、全体的な信頼性を高め、大規模言語モデルの堅牢性を改善するための軽量で一般化可能なデコーディングフレームワークを提供する。
関連論文リスト
- Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。
密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
論文 参考訳（メタデータ） (2026-06-20T07:03:26Z) - From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。
我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。
LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
論文 参考訳（メタデータ） (2026-04-01T11:40:12Z) - Locate-then-Sparsify: Attribution Guided Sparse Strategy for Visual Hallucination Mitigation [68.41785694664011]
機能ステアリングのためのLate-Then-Sparsify(LTS-FS)と呼ばれるプラグアンドプレイフレームワークを提案する。
各層の幻覚関係に応じて操舵強度を制御する。
我々の枠組みは、強い性能を維持しながら幻覚を効果的に緩和する。
論文 参考訳（メタデータ） (2026-03-17T09:16:50Z) - Mitigating Hallucination in Multimodal LLMs with Layer Contrastive Decoding [18.980167452015966]
我々はLayerCD(Layer Contrastive Decoding)と呼ばれる単純な手法を提案する。
LayerCDは、異なるレベルの視覚的特徴から生成された出力分布を対比することで幻覚を除去することを目的としている。
2つのベンチマークで広範な実験を行い、LayerCDが現在の最先端を著しく上回っていることを示す。
論文 参考訳（メタデータ） (2025-09-29T17:59:16Z) - LISA: A Layer-wise Integration and Suppression Approach for Hallucination Mitigation in Multimodal Large Language Models [8.122679857175315]
MLLM(Multimodal Large Language Models)は、視覚言語タスクにおいて優れているが、オブジェクト幻覚の傾向が強い。
階層的変調と多層融合による生成一貫性を向上させるtextbfLISA を提案する。
実験によると、LISAは$mathrmCHAIR_I$で最大53.6%の幻覚を減少させ、POPE F1を4.5%改善する。
論文 参考訳（メタデータ） (2025-07-25T09:48:23Z) - LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。
本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。
提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
論文 参考訳（メタデータ） (2025-07-06T14:35:43Z) - Mitigating Hallucinations via Inter-Layer Consistency Aggregation in Large Vision-Language Models [3.9464481148889354]
層集約(DCLA)による層間整合性を用いた復号化機構を提案する。
提案手法は,従来のレイヤから表現を集約することで動的セマンティック参照を構築し,階層間の一貫性を強制するために意味的に逸脱したレイヤを補正する。
MMEやPOPEのような幻覚ベンチマークの実験では、DCLAはLVLMの信頼性と性能を高めつつ、幻覚を効果的に低減することを示した。
論文 参考訳（メタデータ） (2025-05-18T10:15:42Z) - MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation [50.73561815838431]
MLLM(Multimodal Large Language Models)はしばしば幻覚現象を示す。
実験により,MLLMは最終出力のオブジェクトを誤って生成するが,前層の視覚的オブジェクトを認識できることがわかった。
そこで本研究では,MLLMs DeCoの動的補正復号法を提案する。この手法は,適切な先行層を適応的に選択し,最終層に知識を比例的に統合し,出力ロジットを調整する。
論文 参考訳（メタデータ） (2024-10-15T16:57:44Z) - Lower Layers Matter: Alleviating Hallucination via Multi-Layer Fusion Contrastive Decoding with Truthfulness Refocused [27.894293943142447]
大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて例外的な性能を示した。
彼らは時に「幻覚」と呼ばれる現象である不正確で反事実的な出力を発生させる。
論文 参考訳（メタデータ） (2024-08-16T14:23:59Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳（メタデータ） (2023-09-07T17:45:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。