論文の概要: Look Before You Leap: Factual Decoding with Internal Attribution Signals

• arxiv url: http://arxiv.org/abs/2609.15745v1
• Date: Mon, 14 Sep 2026 15:35:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.474837
• Title: Look Before You Leap: Factual Decoding with Internal Attribution Signals
• Title（参考訳）: Leapを前に見る: 内部帰属信号による実際のデコード
• Abstract要約: 幻覚は依然として大きな言語モデルにおいて重要な課題である。 DescaPEは、内部モデル信号を利用したデコードフレームワークで、幻覚の進行する軌道を時間とともに抑制する。
• 参考スコア（独自算出の注目度）: 14.706754790960902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucination remains a critical challenge in large language models (LLMs), where early factual errors compound through autoregressive generation in a snowballing effect that neither post-hoc correction nor weight-level intervention can effectively preempt. We propose DescaPE (DEcoding Signal Control Against Path Error-snowballing), a decoding framework that leverages internal model signals to suppress hallucination-prone trajectories at inference time. Through sliding-window MLP ablation, we identify a factual-salient layer span within LLMs whose derived signal is selectively elevated for factual tokens and exhibits anomalous spikes at hallucination-prone steps. We train a lightweight probe to approximate this signal from a single forward pass and integrate it into candidate scoring to penalize high-risk continuations while rewarding factually grounded ones. Experiments across five factuality benchmarks on three LLMs demonstrate that DescaPE achieves factuality improvements over decoding-time baselines in multiple settings, while incurring only 1.10x latency overhead in our efficiency evaluation. Our code is available at https://github.com/hayeonggg/DESCAPE.
• Abstract（参考訳）: 大規模な言語モデル(LLMs)では、早期の事実的誤りが自己回帰生成によって合成され、雪玉化効果はポストホック補正もウェイトレベルの介入も効果的にプリエンプションできない。 提案するDescaPE(Decoding Signal Control Against Path Error-Snowballing)は,内部モデル信号を利用するデコードフレームワークである。 スライディングウインドウのMLPアブレーションにより、導出信号が実際のトークンに対して選択的に高められ、幻覚の進行するステップで異常なスパイクを示すLCM内のファクトアル・サリアント層を同定する。 我々は、1つの前方パスからこの信号を近似するために軽量プローブを訓練し、それを候補スコアに統合し、現実的な基底を持つ信号に報いるとともに、高リスク継続をペナルティ化する。 3つのLCM上での5つの事実性ベンチマーク実験により、DescaPEは複数の設定でデコード時間ベースラインよりも事実性の改善を実現し、効率評価では1.10倍の遅延オーバーヘッドしか発生しないことが示された。 私たちのコードはhttps://github.com/hayeonggg/DESCAPEで利用可能です。

関連論文リスト

• MM-Snowball: Evaluating and Mitigating Hallucination Snowballing in Multimodal Multi-Turn Dialogue [98.58433916474472]
  MM-Snowballは,対話内における幻覚雪球の診断のための最初のベンチマークである。 本稿では,この劣化に対処するために,コンフリクト・アウェア・ビジュアル・リクティフィケーション(CAVR)を提案する。
  論文  参考訳（メタデータ） (2026-05-30T08:53:34Z)
• Inferring Code Correctness from Specification [0.0]
  大規模言語モデル(LLM)は現代のソフトウェア開発に不可欠なものとなり、大規模に自動コード生成を可能にしている。 提案するTRAILS(Targeted Reasoning Agreement via Inputs and Specifications)は,コンクリート(インプット,アウトプット)ペアによるLCM推論を基礎とする手法である。 TRAILSをLiveCodeBenchとCoCoClaNeLの2つのデータセット(Qwen3Coder-30B、Devstral-Small-24B、Olmo3.1-Instruct)で評価し、HoarePromptとZero-Shot Chain-of-Thoughtベースラインと比較した。
  論文  参考訳（メタデータ） (2026-05-28T12:04:51Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement [0.24443539255794253]
  事前訓練された大言語モデル(LLMs)は、幻覚として知られる事実的不正確なテキストを生成する傾向にある。 本研究では,中間層でこれらの信号を聴くことによって,推論時に幻覚を緩和する,新しい学習自由復号アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-02-10T07:32:37Z)
• DRIFT: Detecting Representational Inconsistencies for Factual Truthfulness [5.785021425715989]
  LLMは流動性があるが誤った答えを出すことが多いが、このような幻覚を検出するには、通常、複数のサンプリングパスやポストホック検証が必要である。 隠れ状態から直接これらの信号を読み取るための軽量なプローブを提案する。 信頼性の高い問合せを即座に答えるとともに,不確実な問合せをより強力なモデルに委譲するLLMルータを開発した。
  論文  参考訳（メタデータ） (2026-01-20T18:16:10Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Lower Layers Matter: Alleviating Hallucination via Multi-Layer Fusion Contrastive Decoding with Truthfulness Refocused [27.894293943142447]
  大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて例外的な性能を示した。 彼らは時に「幻覚」と呼ばれる現象である不正確で反事実的な出力を発生させる。
  論文  参考訳（メタデータ） (2024-08-16T14:23:59Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。