論文の概要: Transformers Provably Learn to Internalize Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2605.28600v1
• Date: Wed, 27 May 2026 15:17:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.155846
• Title: Transformers Provably Learn to Internalize Chain-of-Thought
• Title（参考訳）: トランスフォーマーはおそらく、チェーン・オブ・サートを内部化するために学習する
• Authors: Yixiao Huang, Hanlin Zhu, Zixuan Wang, Jiantao Jiao, Stuart Russell, Somayeh Sojoudi, Song Mei,
• Abstract要約: Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。 Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。 多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
• 参考スコア（独自算出の注目度）: 65.41010769606844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought (CoT) prompting substantially improves the sample efficiency of transformers, reducing the complexity of tasks like parity learning from exponential to polynomial in the input length. However, generating explicit reasoning steps at inference is computationally expensive. Implicit Chain-of-Thought (ICoT) has emerged as a promising empirical remedy that trains models to internalize intermediate steps within their hidden states, but its theoretical foundations remain poorly understood. We give the first theoretical analysis of ICoT, proving that an $L$-layer transformer trained under our proposed Log-ICoT curriculum learns $k$-parity with $\mathsf{poly}(n)$ samples and $L = \log_2 k$ training stages. This matches the sample efficiency of explicit CoT while eliminating its inference overhead, and extends prior one-layer parity guarantees to multi-layer architectures. Compared to standard ICoT, which removes thinking tokens one at a time, Log-ICoT removes them in geometric chunks, reducing the number of stages from linear in $k$ to logarithmic. Experiments on multi-layer transformers confirm the theory and visualize how reasoning is progressively absorbed into deeper layers.
• Abstract（参考訳）: CoT(Chain-of-Thought)はトランスフォーマーのサンプル効率を大幅に向上させ、入力長の指数関数から多項式へのパリティ学習のようなタスクの複雑さを低減させる。 しかし、推論時に明確な推論ステップを生成するのは計算コストがかかる。 Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する、有望な実証的な治療法として登場したが、その理論的基盤はいまだによく分かっていない。 提案したLog-ICoTカリキュラムでトレーニングされた$L$層変換器は$\mathsf{poly}(n)$サンプルと$L = \log_2 k$トレーニングステージを用いて$k$-parityを学習する。 これは、推論オーバーヘッドを排除しつつ、明示的なCoTのサンプル効率と一致し、複数層アーキテクチャへの事前の1層パリティ保証を拡張する。 シンキングトークンを一度に1つずつ取り除く標準のICoTと比較して、Log-ICoTはそれらを幾何学的なチャンクで取り除き、$k$の線形から対数に減らす。 多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。

関連論文リスト

• Reasoning by Superposition: A Theoretical Perspective on Chain of Continuous Thought [64.43689151961054]
  連続CoTのD$ステップを持つ2層トランスが有向グラフ到達可能性問題を解くことができることを証明した。 我々の構成では、各連続思考ベクトルは複数の探索フロンティアを同時に符号化する重ね合わせ状態である。
  論文  参考訳（メタデータ） (2025-05-18T18:36:53Z)
• Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis [82.51626700527835]
  チェーン・オブ・シフト(Chain-of-shift, CoT)は、複数の中間ステップを持つ例を用いてクエリを増強することにより、大規模言語モデルの推論能力を実現する効率的な手法である。 CoT の理論的成功にもかかわらず、CoT が成立しても正確な一般化が得られないことを示す。
  論文  参考訳（メタデータ） (2024-10-03T03:12:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。