論文の概要: How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures

• arxiv url: http://arxiv.org/abs/2606.06635v1
• Date: Thu, 04 Jun 2026 18:36:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.405944
• Title: How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures
• Title（参考訳）: 言語モデルはどのように機能しないか:コミュニケーションと永続的な推論失敗のToken-Level署名
• Authors: Tanvi Thoria, Kiana Jafari, Marc R. Schlichting, Mykel J. Kochenderfer,
• Abstract要約: 言語モデル推論の失敗は、識別可能なシグネチャを推論トレースに残す異なるプロセスを通して現れる。 1つ目は、モデルがそのトレースの早い段階で間違った推論パスにロックされる、コミット失敗である。 第二に、持続的な不確実性は、その代わりに至るところに蓄積され、完全なトレースは、失敗と成功した完了を最もよく区別するために必要である。
• 参考スコア（独自算出の注目度）: 21.666726162280696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Failures in language model reasoning emerge through distinct processes that leave identifiable signatures in the reasoning trace. We characterize these failures using token-level uncertainty signals, finding they arise through two empirically distinguishable processes. The first is committed failure, in which a model locks onto an incorrect reasoning path early in its trace. A central diagnostic signature is the commitment point, beyond which considering additional tokens hurt rather than help failure detection. In the second, persistent uncertainty, uncertainty instead accumulates throughout, and the full trace is needed to best distinguish failing from successful completions. These signatures reproduce across 23 model-dataset configurations, with the framework's falsifiable predictions holding in 20 of 23 cases, well above chance across both failure modes. Finally, we demonstrate our failure mode framework has direct implications for self-consistency, identifying when uncertainty signals complement it and when it can be selectively skipped. These results offer a foundation for understanding when LLM reasoning failures become detectable and for adapting detection strategies accordingly.
• Abstract（参考訳）: 言語モデル推論の失敗は、識別可能なシグネチャを推論トレースに残す異なるプロセスを通して現れる。 トークンレベルの不確実性信号を用いて、これらの障害を特徴付ける。 1つ目は、モデルがそのトレースの早い段階で間違った推論パスにロックされる、コミット失敗である。 中心的な診断シグネチャはコミットメントポイントであり、追加のトークンを考慮すれば、障害検出に役立ちません。 第二に、持続的な不確実性、不確実性は、代わりに至るところに蓄積され、完全なトレースは、失敗と成功した完了を最もよく区別するために必要である。 これらのシグネチャは23のモデルデータセット構成にまたがって再現される。 最後に、我々のフェールモードフレームワークが自己整合性に直接影響することを示し、不確実性信号がそれを補完するタイミングと、それを選択的にスキップできるタイミングを識別する。 これらの結果は、LCM推論失敗がいつ検出可能になったかを理解し、それに応じて検出戦略を適用するための基盤となる。

関連論文リスト

• How LLMs Detect and Correct Their Own Errors: The Role of Internal Confidence Signals [6.467495925520036]
  大規模な言語モデルは、自身のエラーを検出し、時には外部からのフィードバックなしに修正することができる。 我々は、決定神経科学からの信頼の2階モデルのレンズを通してこれを調査する。
  論文  参考訳（メタデータ） (2026-04-24T06:33:32Z)
• Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
  我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。 ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。 本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
  論文  参考訳（メタデータ） (2026-03-22T21:50:28Z)
• Certainty-Validity: A Diagnostic Framework for Discrete Commitment Systems [0.0]
  「マシーン学習評価尺度」は、全てのエラーが等価な離散的なコミットメントシステムであると仮定する。 信頼不正確」な振る舞いは、モデルが曖昧なデータの中で構造を幻覚させる場所である。 推論システムのための「Good Training」は、精度ではなく、Certainty-Validity Scoreの最大化によって定義されなければならない。
  論文  参考訳（メタデータ） (2026-02-10T21:53:02Z)
• Decomposed Prompting Does Not Fix Knowledge Gaps, But Helps Models Say "I Don't Know" [47.930782177987446]
  大規模言語モデルは、クローズドブックの質問応答において知識限界を認識するのに苦労することが多く、自信ある幻覚へと繋がる。 我々は、モデルスケールの異なるDirect、Assistive、Incrementalの3つのタスク等価プロンプトとマルチホップQAベンチマークを評価した。 幻覚が一致している間に事実知識が安定しているため、クロスレジームは内部の不確実性の正確なシグナルを与える。
  論文  参考訳（メタデータ） (2026-02-04T18:39:58Z)
• Hierarchical Vision Language Action Model Using Success and Failure Demonstrations [60.82332413442677]
  階層型視覚-言語-アクションモデルであるVINEを導入し,高レベル推論を低レベル制御から分離する。 システム2は、2Dシーングラフの抽象化を介して、実現可能性誘導木探索を行う。 システム1はエージェントのコアスキルを変更することなく、低レベルのアクションを実行する。
  論文  参考訳（メタデータ） (2025-12-03T15:58:38Z)
• LoGU: Long-form Generation with Uncertainty Expressions [49.76417603761989]
  不確実性を伴う長文生成(LoGU)の課題について紹介する。 不確実性抑制と不確実性誤認の2つの主要な課題を特定します。 当社のフレームワークでは,原子的クレームに基づく不確実性を改善するため,分割・分散戦略を採用している。 提案手法が精度を向上し,幻覚を低減し,応答の包括性を維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T09:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。