論文の概要: How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference

• arxiv url: http://arxiv.org/abs/2610.40325v1
• Date: Thu, 29 Oct 2026 15:56:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.532069
• Title: How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference
• Title（参考訳）: トランスフォーマーのループ方法:ループスケーリング、スペシャライゼーション、並列推論
• Abstract要約: ループが有効なのかは,モデルのサイズ,トレーニング計算,自己回帰推論効率など,どの制約が支配的かによって異なる。 我々の実験は最大1Bパラメータを持つモデルにまたがっており、最大155Bトークンで最大1.07時間s1021$ FLOPと32ループでトレーニングされています。 フルトランスのループは、一般に固定パラメータ予算において最も高い品質を与えるのに対して、中層ブロックのループは、FLOPのトレーニングが制約されるときに、より良いリターンを与える。
• 参考スコア（独自算出の注目度）: 31.893338617927515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looping in transformer models reuses weights by repeatedly applying the same transformer, or parts of it, making the model deeper without increasing its parameter count. Whether looping is useful depends on which constraint dominates: model size, training compute, or autoregressive inference efficiency. We study these trade-offs jointly in dense decoder-only transformers trained from scratch, varying which parts of the model are looped, how many loops are applied, and how information is passed between loops. Our experiments span models with up to 1B parameters, trained on up to 155B tokens with up to $1.07\times10^{21}$ FLOPs and 32 loops. We find that looping the full transformer generally gives the strongest quality at a fixed parameter budget, whereas looping a middle block of layers gives a better return when training FLOPs are constrained. Adding loops is not uniformly beneficial: gains eventually saturate, reverse, or become unstable. This motivates asking whether forcing every loop to use the same weights limits the benefit of deeper looping. We address this by adding small loop-specific low-rank adapters that improve quality, with larger gains as more loops are added. Looped transformers also suffer a decoding slowdown proportional to the number of loops. Parallel Loop Transformers address this by passing hidden states between loops across adjacent token positions, allowing loop stages to run concurrently. However, in our experiments the original formulation does not consistently retain the quality gains of ordinary looping. We find that preserving the current-token embedding and separately normalizing it and the previous-token hidden state before combining them recovers strong performance across model scales and training budgets. Together, these results show that effective looping requires matching the design to the resource constraint and inference setting.
• Abstract（参考訳）: 変圧器モデルのループ化は、同じ変圧器またはその一部を繰り返し適用することで重みを再利用し、パラメータ数を増やすことなくモデルをより深くする。 ループが役に立つかどうかは、モデルのサイズ、トレーニング計算、自動回帰推論効率など、どの制約が支配するかによって異なります。 我々は,これらのトレードオフを,スクラッチから学習した高密度デコーダのみの変換器で共同で検討する。 我々の実験は最大1Bパラメータを持つモデルにまたがっており、最大155Bトークンと最大1.07\times10^{21}$ FLOPと32ループで訓練されている。 フルトランスのループは、一般に固定パラメータ予算において最も高い品質を与えるのに対して、中層ブロックのループは、FLOPのトレーニングが制約されるときに、より良いリターンを与える。 ループを追加することは一様に有益ではない。ゲインは最終的に飽和し、逆転し、不安定になる。 このことは、全てのループに同じ重みを使うように強制するかどうかを問うモチベーションであり、より深いループの利点を制限します。 この問題を解決するために、ループ固有の小さな低ランクアダプタを追加して、より多くのループを追加することで、品質を向上します。 ループ変換器はループ数に比例して復号速度が低下する。 並列ループ変換器は、隣接するトークン位置を横切るループ間で隠された状態を渡すことでこの問題に対処し、ループステージを同時に実行することを可能にする。 しかし、我々の実験では、元の定式化は通常のループの質的利得を一定に保たない。 モデルスケールとトレーニング予算にまたがって高いパフォーマンスを回復する前に、現在のトーケン埋め込みを保存し、それとそれ以前の隠れ状態とを別々に正規化することを発見した。 これらの結果は、効果的なループ化には、設計をリソース制約と推論設定に合わせる必要があることを示している。

関連論文リスト

• LoopFold: Parallelizing Recurrent Depth in Looped Transformers [18.205047538563786]
  Looped Transformerは、共有バックボーンを繰り返し適用することで、トークン当たりの計算量を増加させる。 既存のアプローチにはParallel Loop Transformerがあり、トークン位置をオーバーラップするループ計算によってレイテンシを低減する。 LoopFoldを導入し、同じトークンプレフィックスに対して、複数の繰り返しの深さで並列バッチに折り畳みます。
  論文  参考訳（メタデータ） (2026-10-26T14:58:11Z)
• Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation [75.19648865320364]
  ループ型変圧器訓練におけるトランケーションの価値を系統的に検討する。 BPTTのループを減らした完全BPTTは、同じ計算の切り詰められた設定を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-10-19T08:52:29Z)
• Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts [22.782568599870235]
  Looped Transformerは、LSMの新たなスケーリング軸として、リカレントディープを導入している。 FLOPとマッチングした大規模MOE LLMのループ化の利点はいまだ不明である。 各ループは、リカレント状態を安定に保ちながら、新しい計算に寄与すべきである。
  論文  参考訳（メタデータ） (2026-10-01T06:32:45Z)
• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。