論文の概要: Attention Deficits in Language Models: Causal Explanations for Procedural Hallucinations

• arxiv url: http://arxiv.org/abs/2602.19239v1
• Date: Sun, 22 Feb 2026 15:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.544906
• Title: Attention Deficits in Language Models: Causal Explanations for Procedural Hallucinations
• Title（参考訳）: 言語モデルにおける注意欠陥:手続き的幻覚の因果説明
• Authors: Ahmed Karim, Fatima Sheaib, Zein Khamis, Maggie Chlon, Jad Awada, Leon Chlon,
• Abstract要約: 正しい値がコンテキストに存在する場合でも、検証可能な、即席の仕様を実行することの失敗について検討する。 具体的には、失敗はStage2A(ゲート)エラーに分解され、モデルが応答モードに入らなかったり、Stage2B(バインディング)エラーに分解される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models can follow complex procedures yet fail at a seemingly trivial final step: reporting a value they themselves computed moments earlier. We study this phenomenon as \emph{procedural hallucination}: failure to execute a verifiable, prompt-grounded specification even when the correct value is present in context. In long-context binding tasks with a known single-token candidate set, we find that many errors are readout-stage routing failures. Specifically, failures decompose into Stage~2A (gating) errors, where the model does not enter answer mode, and Stage~2B (binding) errors, where it enters answer mode but selects the wrong candidate (often due to recency bias). In the hard regime, Stage~2B accounts for most errors across model families in our tasks (Table~1). On Stage~2B error trials, a linear probe on the final-layer residual stream recovers the correct value far above chance (e.g., 74\% vs.\ 2\% on Qwen2.5-3B; Table~2), indicating that the answer is encoded but not used. We formalize ``present but not used'' via available vs.\ used mutual information and pseudo-prior interventions, yielding output-computable diagnostics and information-budget certificates. Finally, an oracle checkpointing intervention that restates the true binding near the query can nearly eliminate Stage~2B failures at long distance (e.g., Qwen2.5-3B $0/400 \rightarrow 399/400$ at $k = 1024$; Table~8).
• Abstract（参考訳）: 大きな言語モデルは複雑な手続きに従うことができるが、一見自明な最終ステップで失敗する。 本稿では,この現象を「emph{procedural hallucination}」として研究する。 既知の単一トークン候補セットによる長いコンテキストバインディングタスクでは、多くのエラーが読み出しステージのルーティング障害であることがわかった。 具体的には、失敗はステージ~2A(ゲート)エラーに分解され、モデルが応答モードに入らない場合とステージ~2B(バインディング)エラーに分解される。 ハードなシステムでは、Stage~2Bはタスクのモデルファミリにまたがるほとんどのエラーを処理します(Table~1)。 2B段階の誤差試験では、最終層残差ストリーム上の線形プローブが正しい値(例 , 74\% 対)を回復する。 Qwen2.5-3B; Table~2) 上の 2\% は、その答えがエンコードされているが使われていないことを示している。 利用可能な vs. で ``present but not use'' を形式化する。 \は相互情報と擬似事前介入を使用し、出力計算可能な診断と情報予算証明書を出力する。 最後に、クエリの近くで真のバインディングを再開するオラクルチェックポイントの介入は、遠くにあるステージ~2Bの障害をほぼ排除することができる(例えば、Qwen2.5-3B $0/400 \rightarrow 399/400$ at $k = 1024$; Table~8)。

関連論文リスト

• Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production [55.76222360698305]
  我々は,言語モデルが入力トークン毎に使用する計算ステップの数を動的かつ自律的に拡張できるような,教師付きトレーニング目標のクラスを探索する。 任意のトークンに対して、モデルは don't know> 出力を出力することで、追加の計算ステップを要求できる。 CYBモデルでは精度が向上し,トークンレベルの複雑性とコンテキストに処理時間を適用することができる。
  論文  参考訳（メタデータ） (2025-10-13T21:07:05Z)
• Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
  マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。 現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。 A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
  論文  参考訳（メタデータ） (2025-09-12T16:51:15Z)
• All is Not Lost: LLM Recovery without Checkpoints [0.1638581561083717]
  CheckFreeは、失敗するステージを最も近いステージの重み付き平均で置き換える効率的なリカバリ手法である。 CheckFreeとCheckFree+は、ウォールクロック時間の収束率でチェックポイントと冗長な計算を12%以上上回った。
  論文  参考訳（メタデータ） (2025-06-18T13:48:33Z)
• Attention Satisfies: A Constraint-Satisfaction Lens on Factual Errors of Language Models [38.79074982172423]
  本稿では,トランスフォーマーを用いた大規模言語モデル (LLM) の内部動作について検討する。 本稿では,制約満足度問題として事実クエリをモデル化することを提案する。 制約トークンに対するLLMの注意と世代毎の事実的正確性との間には,強い正の相関関係が認められた。
  論文  参考訳（メタデータ） (2023-09-26T17:48:55Z)
• Demonstrating a long-coherence dual-rail erasure qubit using tunable transmons [59.63080344946083]
  共振結合された一対のトランスモンからなる「デュアルレール量子ビット」が高コヒーレントな消去量子ビットを形成することを示す。 我々は、チェック毎に0.1%$ dephasingエラーを導入しながら、消去エラーの中間回路検出を実演する。 この研究は、ハードウェア効率の量子誤り訂正のための魅力的なビルディングブロックとして、トランスモンベースのデュアルレールキュービットを確立する。
  論文  参考訳（メタデータ） (2023-07-17T18:00:01Z)
• Towards Fine-Grained Information: Identifying the Type and Location of Translation Errors [80.22825549235556]
  既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。 我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。 実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
  論文  参考訳（メタデータ） (2023-02-17T16:20:33Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。