論文の概要: Token Budget Saturation and Mechanistic Early Detection of Reasoning Non-Convergence in Chain-of-Thought Models

• arxiv url: http://arxiv.org/abs/2607.21433v1
• Date: Thu, 23 Jul 2026 15:37:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.456709
• Title: Token Budget Saturation and Mechanistic Early Detection of Reasoning Non-Convergence in Chain-of-Thought Models
• Title（参考訳）: 耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震・耐震
• Abstract要約: チェーン・オブ・シント推論モデルはバイモーダル収束パターンを示す。 世代は、(収束しない)トークン予算内で終了するか、(収束しない)結論に達することなくそれを排気する AIME 1983-2024では収束世代が90.3%、非収束世代は6.6%であり、全体の収束率は62.0%である。
• 参考スコア（独自算出の注目度）: 1.4563514298965277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought reasoning models such as DeepSeek-R1-Distill-Qwen-7B exhibit a bimodal convergence pattern: generations either terminate within a token budget (converged) or exhaust it without reaching a conclusion (non-converged). We characterize this phenomenon empirically, showing that converged generations achieve 90.3% accuracy on AIME 1983-2024 while non-converged ones achieve only 6.6%, with an overall convergence rate of 62.0%. We then ask whether this outcome is detectable early in the thinking chain using internal model representations. Training linear probes on hidden-state activations at token positions 50-300, we find that layer-20 activations at token 150 achieve AUC 0.608 (+-0.080, 5-fold CV), reliably above chance even at token 50. Activation probes consistently outperform behavioral baselines derived from token entropy and repetition statistics. A sweep-level permutation test yields p=0.063 (100,000 permutations), consistent with a modest signal that our sample size cannot confirm at conventional thresholds. These findings suggest that convergence fate is partially encoded in intermediate representations well before the generation ends, opening a path toward early-exit inference and adaptive compute allocation.
• Abstract（参考訳）: DeepSeek-R1-Distill-Qwen-7Bのようなチェーン・オブ・シント推論モデルでは、2モーダル収束パターンが示される。 我々はこの現象を経験的に特徴づけ、収束した世代は AIME 1983-2024 で 90.3% の精度を達成し、非収束した世代は 6.6% しか達成せず、全体の収束率は 62.0% であることを示した。 次に、内部モデル表現を用いて、この結果が思考チェーンの初期段階で検出可能かどうかを問う。 トークン位置50〜300における隠れ状態活性化に対する線形プローブの訓練により、トークン150における20層活性化がAUC 0.608 (+-0.080, 5-fold CV)を達成し、トークン50においても確実に上回っていることがわかった。 アクティベーションプローブは、トークンエントロピーと反復統計から導かれる行動ベースラインを一貫して上回る。 スイープレベルの置換試験ではp=0.063 (100,000 の置換) が得られ, サンプルサイズが従来の閾値では確認できないという定型信号と一致している。 これらの結果は、収束運命は生成が終了するずっと前に中間表現に部分的に符号化され、早期終了推定と適応的な計算割り当てへの道を開くことを示唆している。

関連論文リスト

• Coarse composition suffices: tabular in-context learning for multi-activity antimicrobial peptide profiling [2.571440349338848]
  単純なシーケンスのみのパイプラインは、マルチモーダルな構造条件のディープモデルにマッチし、超えられることを示す。 ESCAPE (82,359 peptides; 5 labels)では、ラベル・パワーセットのTabPFNモデルがmAP-5 = 77.8%を達成する。
  論文  参考訳（メタデータ） (2026-08-31T06:50:09Z)
• GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
  本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。 5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。 解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
  論文  参考訳（メタデータ） (2026-08-03T17:55:24Z)
• SketchMamba: A Lightweight State-Space Model for Joint Progressive Sketch Classification and Stroke Auto-Completion [0.0]
  既存のベクトルスケッチモデルは、認識と生成を別のタスクとして扱う。 スケッチマンバ(SketchMamba)は、任意の部分的な接頭辞からスケッチを連続的に分類し、その継続を同時に生成する単一因果配列モデルである。
  論文  参考訳（メタデータ） (2026-07-26T10:05:23Z)
• CUSUM-Shaped Inference-Time Monitoring and Targeted Re-Decoding for Quantized Small Language Model Reasoning [0.6999740786886536]
  MGT-Bは、事前サンプリングの不確かさと変性の特徴の重なり合う窓を、位置条件による経験的尾の確率にマップする。 ログしきい値h=10のマニュアル選択後に最初に観察された問題同一性に対して,その効果が持続するかどうかを検証した。 どちらの分析も確証がなく、実証的要因は有効な電子プロセスや電子検出器として確立されていない。
  論文  参考訳（メタデータ） (2026-07-22T13:34:17Z)
• When Thinking Hurts: Epistemic Signals in the Reasoning Chains of Visual Language Models [0.0]
  視覚言語モデル(VLM)における解答エントロピー行動の最初の3家族的経験的特徴付けを提供する。 Qwen3-VL-8B-Thinkingは完全な崩壊を示し、GLM-4.1V-9B-Thinkingは崩壊しない、InternVL3-8Bは選択的思考を示す。 3つの思考モードモデル全体において、思考チェーンエントロピーは、連鎖が生成される部分集合上での解エントロピーよりも優れる。
  論文  参考訳（メタデータ） (2026-07-09T02:19:16Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• Unveiling the Entropy Dynamics of Chain-of-Thought Reasoning [81.57028614960576]
  1)信頼性の高い -- 信頼性の高い -- 信頼性の高い領域での回答は高度に正確で安定したものになり、2)高冗長性 -- モデルは正しい回答に達した後ずっと経ってから不必要なトークンを生成する。 これらの特性はより効率的で信頼性の高い推論戦略を解き放つ。
  論文  参考訳（メタデータ） (2026-06-01T10:11:14Z)
• ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
  ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。 DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
  論文  参考訳（メタデータ） (2026-05-28T12:40:22Z)
• Tracing Uncertainty in Language Model "Reasoning" [46.61902399979181]
  言語モデル(LM)は、一般的にChain-of-Thoughtまたはテストタイムスケーリングと呼ばれ、しばしばベンチマークのパフォーマンスを改善する。 本研究では,LMが生成する中間トークン列である「推論」トレースを進化的モデル状態として扱うことにより,これらのダイナミクスを考察する。
  論文  参考訳（メタデータ） (2026-05-08T14:16:37Z)
• Relational Preference Encoding in Looped Transformer Internal States [0.0]
  ループ変換器は内部の反復状態においてどのように人間の嗜好を符号化するかを検討する。 繰り返し洗練された2.6Bパラメータループ変換器であるOuro-2.6B-Thinkingを用いて,各ループ繰り返しから隠れた状態を抽出する。 我々は、HH-RLHFデータセット上で人間の嗜好を予測するために軽量評価器ヘッドを訓練する。 我々のペアワイズ評価器は8,552個の未確認例に対して95.2%の精度を達成し、ベースモデルは完全に凍結されている間に全バッチのL-BFGSプローブ(84.5%)を上回った。
  論文  参考訳（メタデータ） (2026-04-10T20:00:49Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• LYNX: Learning Dynamic Exits for Confidence-Controlled Reasoning [15.597220136913258]
  LYNXはオンラインのアーリーエグジットメカニズムで、モデル自身の隠れ状態の認識を信頼性制御による停止決定に変換する。 一般的な数学的コーパスで一度このプローブをトレーニングして校正し、ベンチマーク、復号化温度、さらには非数学的なタスクで再利用します。
  論文  参考訳（メタデータ） (2025-12-05T00:04:42Z)
• Inference-Time Chain-of-Thought Pruning with Latent Informativeness Signals [6.5422130090856925]
  セルフトランケーションBest-of-N (ST-BoN) は、未進行の経路を早期に切り離すことによってこれを緩和する。 本稿では,KL-Adjusted Pruned Path Algorithm (KAPPA)を提案する。
  論文  参考訳（メタデータ） (2025-11-01T20:41:22Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。