論文の概要: Unveiling the Mechanisms of Explicit CoT Training: How CoT Enhances Reasoning Generalization

• arxiv url: http://arxiv.org/abs/2502.04667v2
• Date: Mon, 05 May 2025 09:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 14:44:43.915216
• Title: Unveiling the Mechanisms of Explicit CoT Training: How CoT Enhances Reasoning Generalization
• Title（参考訳）: 明示的CoTトレーニングのメカニズムの解明:CoTが一般化をいかに促すか
• Authors: Xinhao Yao, Ruifeng Ren, Yun Liao, Yong Liu,
• Abstract要約: 大規模言語モデルの学習における明示的連鎖理論(CoT)の統合は、その推論能力を向上させるが、CoTが一般化を強化するメカニズムはいまだよく理解されていない。 本研究は,(1)テキストショーCoTトレーニングが内部モデル表現を再評価し,(2)テキストトウハウは分布内(ID)と分布外(OOD)の両方を一般化する。
• 参考スコア（独自算出の注目度）: 9.191236388401226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The integration of explicit Chain-of-Thought (CoT) reasoning into training large language models (LLMs) has advanced their reasoning capabilities, yet the mechanisms by which CoT enhances generalization remain poorly understood. This work investigates (1) \textit{how} CoT training reshapes internal model representations and (2) \textit{why} it improves both in-distribution (ID) and out-of-distribution (OOD) reasoning generalization. Through controlled experiments and theoretical analysis, we derive the following key insights. \textbf{1)} Structural Advantage: CoT training internalizes reasoning into a two-stage generalizing circuit, where the number of stages corresponds to the explicit reasoning steps during training. Notably, CoT-trained models resolve intermediate results at shallower layers compared to non-CoT counterparts, freeing up deeper layers to specialize in subsequent reasoning steps. \textbf{2)} Theoretical Analysis: the information-theoretic generalization bounds via distributional divergence can be decomposed into ID and OOD components. While ID error diminishes with sufficient training regardless of CoT, OOD error critically depends on CoT: Non-CoT training fails to generalize to OOD samples due to unseen reasoning patterns, whereas CoT training achieves near-perfect OOD generalization by mastering subtasks and reasoning compositions during training. The identified mechanisms explain our experimental results: CoT training accelerates convergence and enhances generalization from ID to both ID and OOD scenarios while maintaining robust performance even with tolerable noise. These findings are further validated on complex real-world datasets. This paper offers valuable insights for designing CoT strategies to enhance LLM reasoning robustness.
• Abstract（参考訳）: 大規模言語モデル (LLMs) の訓練において, 明示的なChain-of-Thought (CoT) 推論が統合され, 推論能力は向上したが, CoT が一般化を促進するメカニズムはいまだよく理解されていない。 本研究は,(1) \textit{how} CoT トレーニングが内部モデル表現を再評価し,(2) \textit{why} が内分布 (ID) と外分布 (OOD) の両方を改善することを明らかにする。 制御された実験と理論解析を通じて、以下の重要な知見を導出する。 構造上の利点: CoT トレーニングは2段階の一般化回路に推論を内部化し、段階の数はトレーニング中の明示的な推論ステップに対応する。 特に、CoTを訓練したモデルは、CoT以外のモデルに比べて浅い層で中間結果を解決し、その後の推論ステップを専門化するためにより深い層を解放する。 理論解析: 分布的発散による情報理論の一般化境界は、IDとOOD成分に分解できる。 非CoTトレーニングは、見知らぬ推論パターンによってOODサンプルに一般化できないが、CoTトレーニングは、サブタスクを習得し、トレーニング中に推論合成を習得することで、ほぼ完璧なOOD一般化を達成する。 同定されたメカニズムは,我々の実験結果を説明する: CoT トレーニングは収束を加速し,ID と OOD の両方のシナリオへの一般化を促進し,耐雑音でも頑健な性能を維持する。 これらの結果は、複雑な実世界のデータセットでさらに検証される。 本稿では,LLM推論の堅牢性を高めるためにCoT戦略を設計するための貴重な知見を提供する。

関連論文リスト

• Chain-of-Thought Prompting for Out-of-Distribution Samples: A Latent-Variable Study [5.236910203359897]
  CoT(Chain-of-Thought)プロンプトは、大規模言語モデルにおけるコンテキスト内学習を改善するための強力なテクニックとして登場した。 我々は、CoTの潜在変数フレームワークを拡張し、その振る舞いを2つのオフ・オブ・ディストリビューション(OOD)シナリオで研究する。 実験により, 潜伏変数がトレーニング中に見られるものとよく似ているOODサンプルに対して, CoT推論が効果的に一般化することを示したが, この類似性が低下すると性能が低下する。
  論文  参考訳（メタデータ） (2025-04-17T14:59:29Z)
• The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [39.613595533503144]
  CoT(Chain-of-Thought)プロンプトは、大規模言語モデルにおける推論能力を高める能力として広く認識されている。 CoTは、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを示す。 パターンベースICLにおけるCoTの性能を駆動する基本的明示的双対性を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T13:51:06Z)
• Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1 [53.894789613838654]
  ビデオ理解におけるMLLMのポストトレーニング手法を評価するためのベンチマークであるSEED-Bench-R1を紹介する。 複雑な現実世界のビデオや、複数の質問の形式での複雑な日常的な計画タスクも含んでいる。 Qwen2-VL-Instruct-7Bをベースモデルとして、RLと教師付き微調整(SFT)を比較した。 我々の詳細な分析では、RLは視覚知覚を増強するが、しばしばコヒーレント推論連鎖を減少させる。
  論文  参考訳（メタデータ） (2025-03-31T17:55:23Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Beyond In-Distribution Success: Scaling Curves of CoT Granularity for Language Model Generalization [35.16980045900664]
  変圧器に基づく言語モデル(LM)の展開において、分散シフト下における新しい複合タスクへの一般化が重要である 本研究は、OODの一般化を促進する手段として、Chain-of-Thought (CoT)推論を考察する。
  論文  参考訳（メタデータ） (2025-02-25T15:04:17Z)
• Demystifying Long Chain-of-Thought Reasoning in LLMs [46.352406501403465]
  ロングチェーン・オブ・シント(CoT)は、バックトラックやエラー修正のような戦略を可能にする。 強化学習(Reinforcement Learning, RL)は、これらの能力を開発する上で重要な方法である。 モデルが長いCoT軌道を生成できる重要な要素を同定する。
  論文  参考訳（メタデータ） (2025-02-05T17:13:32Z)
• Rethinking Chain-of-Thought from the Perspective of Self-Training [10.722453877596998]
  思考の連鎖(CoT)推論はLLMの潜在能力を活性化するための効果的なアプローチとして現れている。 推論性能を改善するための新しいCoTフレームワークを提案する。 本フレームワークは,初期推論プロセスを最適化するタスク固有のプロンプトモジュールと,動的に推論プロセスを洗練させる適応推論モジュールの2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-12-14T13:12:50Z)
• RL-STaR: Theoretical Analysis of Reinforcement Learning Frameworks for Self-Taught Reasoner [2.779063752888881]
  自己学習推論(STaR)フレームワークは、強化学習を使用して推論ステップを自動的に生成する。 STaRとその変種は経験的成功を示しているが、これらの改善を説明する理論的基盤は欠如している。 この研究は、CoT推論とSTaRにおける強化学習の有効性を理解するための理論的枠組みを提供する。
  論文  参考訳（メタデータ） (2024-10-31T13:17:53Z)
• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis [82.51626700527837]
  チェーン・オブ・シフト(Chain-of-shift, CoT)は、複数の中間ステップを持つ例を用いてクエリを増強することにより、大規模言語モデルの推論能力を実現する効率的な手法である。 CoT の理論的成功にもかかわらず、CoT が成立しても正確な一般化が得られないことを示す。
  論文  参考訳（メタデータ） (2024-10-03T03:12:51Z)
• The mechanistic basis of data dependence and abrupt learning in an in-context classification task [0.3626013617212666]
  本研究では,言語固有の特定の分布特性が,2種類の学習のトレードオフや同時出現を制御していることを示す。 インコンテキスト学習は、誘導ヘッドの突然の出現によって駆動され、その後、インウェイト学習と競合する。 注意に基づくネットワークの急激な遷移は、ICLを実現するのに必要な多層演算の特定の連鎖によって生じると提案する。
  論文  参考訳（メタデータ） (2023-12-03T20:53:41Z)
• Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
  CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する 無効な実演でもCoT推論が可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。