論文の概要: Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation

• arxiv url: http://arxiv.org/abs/2610.26030v1
• Date: Mon, 19 Oct 2026 08:52:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.332631
• Title: Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation
• Title（参考訳）: トランケートの有無? トランケートバックプロパゲーションを有するループ型変圧器のスケーリング解析
• Abstract要約: ループ変換器は、トレーニング可能なパラメータの数を増やすことなく計算深度を増やすために、共有層ブロックを再利用する。 トレーニング計算を保存するため、BPTTは最後の数ループに切り替わることが多い。 BPTTのループを減らした完全BPTTは、同じ計算の切り詰められた設定を一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 75.19648865320364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped transformers reuse a shared block of layers to increase computational depth without increasing the number of trainable parameters. They are trained with backpropagation through time (BPTT). To save training compute, BPTT is often truncated to the last few loops, although this may weaken the benefit of looping. To study this tradeoff systematically, we jointly vary model size, training tokens, and forward and backward loop counts across nearly 600 training runs and fit a unified scaling law that captures the effects of looping and truncation through effective parameters. Despite the training-compute savings of truncation, our fitted law favors full BPTT when forward and backward loop counts are jointly optimized. In matched-compute runs, full BPTT through fewer loops consistently outperforms truncated settings of the same compute. The law further shows that at fixed model size, the compute-optimal loop count and training-token budget both grow with compute. When model size is also free, the law identifies two fully trained loops as the best looped setting. Experimentally, this setting achieves lower loss than the compute-optimal non-looped model with about 27% fewer non-embedding parameters and only 8% more training compute.
• Abstract（参考訳）: ループ変換器は、トレーニング可能なパラメータの数を増やすことなく計算深度を増やすために、共有層ブロックを再利用する。 バックプロパゲーションは時間(BPTT)によって訓練される。 トレーニング計算を保存するため、BPTTは最後の数ループに切り替わることが多いが、ループの利点を弱める可能性がある。 このトレードオフを体系的に研究するために、600近いトレーニングランでモデルサイズ、トレーニングトークン、前方と後方のループカウントを共同で変更し、効果的なパラメータを通してループとトランケーションの効果をキャプチャする統一スケーリング法則に適合する。 トランケーションのトレーニング・計算的削減にもかかわらず,本法は,前方ループ数と後方ループ数が協調的に最適化された場合に,完全BPTTを優先する。 一致した計算実行では、少ないループを通した完全なBPTTは、同じ計算の切り詰められた設定よりも一貫して優れる。 この法則は、固定モデルサイズでは、計算-最適ループ数とトレーニング-トーケン予算の両方が計算によって増大することを示している。 モデルのサイズも自由である場合、法則は2つの完全に訓練されたループを最良のループ設定として識別する。 実験的に、この設定は計算最適化非ループモデルよりも損失が小さく、非埋め込みパラメータは約27%減少し、トレーニング計算はわずか8%増加した。

関連論文リスト

• Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts [22.782568599870235]
  Looped Transformerは、LSMの新たなスケーリング軸として、リカレントディープを導入している。 FLOPとマッチングした大規模MOE LLMのループ化の利点はいまだ不明である。 各ループは、リカレント状態を安定に保ちながら、新しい計算に寄与すべきである。
  論文  参考訳（メタデータ） (2026-10-01T06:32:45Z)
• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• Improving Test-Time Scaling with Adaptive Looped Transformers [27.116908391880568]
  テスト時間復号化FLOPの倍率当たりの精度ゲインとして測定された精度計算傾きについて検討した。 既存のループ変換器は、ループのないベースラインよりも急勾配になることが多いが、一致した計算では性能が劣る。 ループ化の恩恵を受けるトークンに余分なイテレーションを集中させることができるTaH2を提案する。
  論文  参考訳（メタデータ） (2026-09-28T17:56:55Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。