論文の概要: Transformers with CoT Discover Heavy-Ball Acceleration Through Training
- arxiv url: http://arxiv.org/abs/2610.31089v1
- Date: Thu, 22 Oct 2026 10:59:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.32945
- Title: Transformers with CoT Discover Heavy-Ball Acceleration Through Training
- Title（参考訳）: CoTを用いた教育用変圧器
- Abstract要約: 我々は、トランスフォーマー推論が、単に監督に使われるアルゴリズムを模倣するのではなく、トレーニングを通じて新しいアルゴリズムを発見できることを示します。
この結果から、トランスフォーマー推論は、単に監督に使用するアルゴリズムを模倣するのではなく、トレーニングを通じて新しいアルゴリズムを発見できるという具体的な理論的例が得られた。
- 参考スコア（独自算出の注目度）: 9.382550529185606
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern transformers often solve complex tasks by generating and refining intermediate reasoning steps. To develop a theoretical understanding of chain-of-thought (CoT) reasoning, a notable recent study by Huang et al. (2025) viewed transformers as algorithm executors, and showed that when transformers' CoT steps are supervised by a gradient-descent teacher, they can learn to implement gradient descent for in-context weight prediction in linear regression. In this paper, we study the same in-context weight prediction task but ask whether CoT reasoning can go beyond merely imitating the teacher algorithm. We show that, after initial supervision from a gradient-descent teacher, further trajectory-level supervision using the true regression weights leads the model to implement the Heavy-Ball method, thereby achieving acceleration over the original teacher. Notably, this accelerated algorithm emerges without supervision from any Heavy-Ball teacher. Our results provide a concrete theoretical example in which transformer reasoning can discover new algorithms through training, rather than merely imitate the algorithm used for supervision.
- Abstract（参考訳）: 現代の変圧器はしばしば中間推論ステップの生成と精錬によって複雑なタスクを解く。
Huang et al (2025)による最近の顕著な研究は、チェーン・オブ・シンプソン(CoT)推論の理論的な理解を深めるために、トランスフォーマーのCoTステップが勾配差の教師によって監督されている場合、線形回帰においてコンテキスト内重み予測のための勾配勾配を求めることを学ぶことができることを示した。
本稿では,同じコンテキスト内重み予測タスクについて検討するが,CoT推論が単なる教師アルゴリズムの模倣以上のことができるかどうかを問う。
本研究は, 勾配の発達した教師からの初期指導を受けた後, 真の回帰重みを用いた軌道レベルの更なる監督が, モデルにヘビーボール法を適用させることで, 元の教師よりも加速できることを示す。
特に、この加速アルゴリズムはヘビーボールの教師の監督なしに現れる。
この結果から、トランスフォーマー推論は、単に監督に使用するアルゴリズムを模倣するのではなく、トレーニングを通じて新しいアルゴリズムを発見できるという具体的な理論的例が得られた。
関連論文リスト
- Outcome-Based RL Provably Leads Transformers to Reason, but Only With the Right Data [4.344634631420729]
強化学習を用いて学習した単一層トランスフォーマーのポリシー勾配ダイナミクスを解析する。
最終回答の正確性のみを訓練しているにもかかわらず、ポリシー勾配はTransformerを構造化された解釈可能なアルゴリズムに収束させる。
論文 参考訳（メタデータ） (2026-01-21T16:36:19Z) - Transformers Learn to Implement Multi-step Gradient Descent with Chain of Thought [46.71030329872635]
Chain of Thought (CoT) のプロンプトにより,大規模言語モデル (LLM) の性能が大幅に向上することが示されている。
線形回帰のための文脈内重み予測タスクにおいて,CoT目標に対する変圧器のトレーニングダイナミクスについて検討する。
論文 参考訳（メタデータ） (2025-02-28T16:40:38Z) - Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。
この設定における多層トランスの理論的解析はこれが初めてである。
論文 参考訳（メタデータ） (2024-10-10T18:29:05Z) - Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis [82.51626700527835]
チェーン・オブ・シフト(Chain-of-shift, CoT)は、複数の中間ステップを持つ例を用いてクエリを増強することにより、大規模言語モデルの推論能力を実現する効率的な手法である。
CoT の理論的成功にもかかわらず、CoT が成立しても正確な一般化が得られないことを示す。
論文 参考訳（メタデータ） (2024-10-03T03:12:51Z) - Transformers learn to implement preconditioned gradient descent for
in-context learning [41.74394657009037]
いくつかの最近の研究は、変圧器が勾配降下のようなアルゴリズムを実装できることを実証している。
トランスフォーマーは、ランダムな問題インスタンスをトレーニングすることで、そのようなアルゴリズムの実装を学べますか?
注意層が$L$の変圧器では,事前条件付き勾配勾配の反復として$L$を具現化する訓練対象の臨界点が証明される。
論文 参考訳（メタデータ） (2023-06-01T02:35:57Z) - Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。
トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文 参考訳（メタデータ） (2022-12-15T09:21:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。