論文の概要: How Does Chain-of-Thought Supervision Teach Models to Reason? A Theoretical Analysis

• arxiv url: http://arxiv.org/abs/2611.01740v1
• Date: Sun, 01 Nov 2026 09:41:39 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:24:30.559086
• Title: How Does Chain-of-Thought Supervision Teach Models to Reason? A Theoretical Analysis
• Title（参考訳）: チェーン・オブ・ソート・スーパービジョンはどうやってモデルに推論を教えるのか? : 理論的解析
• Abstract要約: チェーン・オブ・シンクレット(CoT)の指導によるトレーニングは,多段階推論手順をモデルに教える上で効果的な方法である。 しかし、訓練中に観察される有限の教師CoTシーケンスを超えて、モデルは推論を続ける必要があるかもしれない。 トレーニングタイムのCoTの量と構造が、推論タイムの失敗を引き起こすかは、理論的にはよく分かっていない。
• 参考スコア（独自算出の注目度）: 34.69440744042684
• License:
• Abstract: Training with chain-of-thought (CoT) supervision is an effective approach for teaching models multi-step reasoning procedures. At inference time, however, models may need to continue reasoning beyond the finite teacher CoT sequences observed during training, and longer reasoning can instead degrade performance, a phenomenon known as overthinking. How the amount and structure of training-time CoT give rise to such failures remains theoretically poorly understood. To study this problem, we introduce an in-context weight prediction model trained on finite gradient descent trajectories for linear regression. Using high-dimensional asymptotic analysis, we show that the success and failure modes of long-horizon reasoning undergo phase transitions depending on the context length and the total amount of training CoT. We further distinguish two mechanisms of overthinking, error accumulation and error amplification, and show that with short training contexts, increasing the training CoT budget can worsen long-horizon error before eventually stabilizing reasoning. Experiments with fully trained linear and multi-head softmax attention further show that these qualitative behaviors persist. Our results provide a theoretical account linking properties of training-time CoT to inference-time failures and offer guidance for designing teacher CoT that supports stable reasoning.
• Abstract（参考訳）: チェーン・オブ・シンクレット(CoT)の指導によるトレーニングは,多段階推論手順をモデルに教える上で効果的な方法である。 しかし、推論時には、モデルは訓練中に観察される有限の教師CoTシーケンスを超えて推論を続ける必要があり、より長い推論は代わりにパフォーマンスを劣化させる可能性がある。 訓練時間CoTの量と構造がそのような失敗を引き起こすかは理論的にはよく分かっていない。 そこで本研究では,線形回帰に対する有限勾配降下軌道に基づく文脈内重み予測モデルを提案する。 高次元の漸近解析を用いて,長期水平推論における成功モードと失敗モードが,文脈長と訓練CoTの総量に応じて相転移することを示す。 さらに、過度に考え、エラーの蓄積とエラーの増幅の2つのメカニズムを区別し、短いトレーニングコンテキストで、訓練のCoT予算を増やすことで、長い水平誤差を悪化させ、最終的には推論を安定化させることを示した。 完全に訓練された線形およびマルチヘッドのソフトマックスによる実験は、これらの定性的挙動が持続していることをさらに示している。 本研究は,学習時間CoTと推論時間障害の関連性を理論的に説明し,安定した推論を支援する教師CoTの設計指導を行う。

関連論文リスト

• Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning [51.56484100374058]
  大規模言語モデル(LLM)のオンライン自己蒸留(OPSD)は、以前に獲得した知識を保存しながら推論能力を向上させる能力を示した。 連続学習における後学習---OPSDと教師付き微調整(SFT)のダイナミクスの統一的理論的解析を行う。 理論的解析により, 信頼性のある連続的推論は, 事前学習中に確立した推論構造と, ポストトレーニング後の更新がどのように相互作用するかに依存することが示された。
  論文  参考訳（メタデータ） (2026-10-04T13:13:18Z)
• An Asymptotic Theory of Chain-of-Thought in In-Context Learning [34.69440744042684]
  CoT推論(Chain-of-Thought reasoning)は、大規模言語モデルにおいて多段階推論を引き出すメカニズムとして広く用いられている。 線形回帰における文脈内重み予測のための理論的に解決可能なCoTモデルについて検討する。 本研究では,推定深度,事前学習データ量,文脈長の関数として,一般化誤差の正確な式を導出する。
  論文  参考訳（メタデータ） (2026-06-02T06:23:31Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought [64.43689151961054]
  有向グラフ到達性問題に対する簡易な2層変圧器のトレーニング力学を理論的に解析する。 分析の結果,連続的思考を用いたトレーニングでは,まずインデックスマッチングロジットが増加し,その後は軽度な仮定の下で拘束されることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T15:23:46Z)
• EPiC: Towards Lossless Speedup for Reasoning Training through Edge-Preserving CoT Condensation [37.6583581020347]
  資源効率のよい推論学習におけるCoT凝縮の問題点について検討する。 本研究では,各CoTトレースの初期セグメントと最終セグメントのみを選択的に保持するエッジ保存凝縮法 EPiC を提案する。
  論文  参考訳（メタデータ） (2025-06-04T17:49:10Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [51.631483479081645]
  大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。 本稿は、長いCoTがより優れていると仮定されることがしばしばあり、長いCoTが常に優れているとは限らない、と論じる。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。