論文の概要: LoopFold: Parallelizing Recurrent Depth in Looped Transformers

• arxiv url: http://arxiv.org/abs/2610.35556v1
• Date: Mon, 26 Oct 2026 14:58:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.043659
• Title: LoopFold: Parallelizing Recurrent Depth in Looped Transformers
• Title（参考訳）: LoopFold:ループ変換器における繰り返し深さの並列化
• Abstract要約: Looped Transformerは、共有バックボーンを繰り返し適用することで、トークン当たりの計算量を増加させる。 既存のアプローチにはParallel Loop Transformerがあり、トークン位置をオーバーラップするループ計算によってレイテンシを低減する。 LoopFoldを導入し、同じトークンプレフィックスに対して、複数の繰り返しの深さで並列バッチに折り畳みます。
• 参考スコア（独自算出の注目度）: 18.205047538563786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Transformers increase computation per token by repeatedly applying a shared backbone, offering a way to improve language modeling and downstream task performance at a fixed backbone parameter count. However, each loop depends on the preceding loop, so increasing recurrent depth also increases decoding latency. Existing approaches include Parallel Loop Transformers, which reduce latency by overlapping loop computation across token positions, but yield rapidly diminishing marginal accuracy gains at larger depths. To address this challenge, we introduce LoopFold, which folds computation at multiple recurrent depths into parallel batches for the same token prefix. A lightweight predictor estimates inputs to later loops so they can start before earlier loops finish. A corrector then refines the outputs of these later loops using newly available results from earlier loops. All components are trained jointly using only the final next-token prediction loss. In experiments with 1.4B models, deeper LoopFold configurations achieve progressively higher average zero-shot accuracy across eight tasks, rising from 53.41% to 56.38%. Vanilla looped models and PLT show limited gains over the same depth range. Compared with a nine-loop vanilla model, LoopFold uses five sequential stages and additional parallel computation to reduce decoding latency by 46%.
• Abstract（参考訳）: Looped Transformerは、共有バックボーンを繰り返し適用することで、トークン単位の計算量を増やし、固定バックボーンパラメータカウントでの言語モデリングとダウンストリームタスクパフォーマンスを改善する手段を提供する。 しかし、各ループは前回のループに依存するため、再帰深度の増加は復号遅延を増加させる。 既存のアプローチにはパラレルループ変換器があり、トークン位置をオーバーラップするループ計算によってレイテンシを低減するが、より深い深さでの限界精度の向上は急速に減少する。 この課題に対処するために、同じトークンプレフィックスの並列バッチに複数の繰り返し深さで計算を折り畳むLoopFoldを導入する。 軽量な予測器は入力を後続のループに推定し、初期のループが終了する前に開始することができる。 修正器は、これらの後のループの出力を、以前のループから新たに利用可能な結果を使って洗練する。 すべてのコンポーネントは、最終的な次の予測損失のみを使用して、共同でトレーニングされる。 1.4Bモデルを用いた実験では、より深いLoopFold構成は8つのタスクで平均ゼロショット精度を徐々に高くし、53.41%から56.38%に上昇した。 バニラループモデルとPLTは同じ深度範囲で限られた利得を示した。 9ループのバニラモデルと比較して、LoopFoldは5つのシーケンシャルステージと追加の並列計算を使用して、デコード遅延を46%削減する。

関連論文リスト

• Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation [75.19648865320364]
  ループ型変圧器訓練におけるトランケーションの価値を系統的に検討する。 BPTTのループを減らした完全BPTTは、同じ計算の切り詰められた設定を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-10-19T08:52:29Z)
• LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models [33.15244718105284]
  Looped Transformerは、同じTransformerレイヤを繰り返し適用することで、パラメータ効率を向上させる。 近年のパイプライン型自己投機的復号法では,早期ループ予測からのトークンの起草による遅延を低減している。 ループ変換器の投機的復号化フレームワークである Method を導入する。
  論文  参考訳（メタデータ） (2026-10-15T09:38:11Z)
• Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts [22.782568599870235]
  Looped Transformerは、LSMの新たなスケーリング軸として、リカレントディープを導入している。 FLOPとマッチングした大規模MOE LLMのループ化の利点はいまだ不明である。 各ループは、リカレント状態を安定に保ちながら、新しい計算に寄与すべきである。
  論文  参考訳（メタデータ） (2026-10-01T06:32:45Z)
• Looped Diffusion Transformer [126.10100109922593]
  分割ステップ毎に共有トランスフォーマーブロックを繰り返し実行することで、計算をスケールする別の方法を模索する。 ナイーブループは 画像の質を 常に向上させません ループ型拡散変換器(Looped Diffusion Transformer, Looped-DiT)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T17:52:08Z)
• Improving Test-Time Scaling with Adaptive Looped Transformers [27.116908391880568]
  テスト時間復号化FLOPの倍率当たりの精度ゲインとして測定された精度計算傾きについて検討した。 既存のループ変換器は、ループのないベースラインよりも急勾配になることが多いが、一致した計算では性能が劣る。 ループ化の恩恵を受けるトークンに余分なイテレーションを集中させることができるTaH2を提案する。
  論文  参考訳（メタデータ） (2026-09-28T17:56:55Z)
• RecurTrace: Adaptive Latent Reasoning with Loop-Time Memory [25.81050020222202]
  Loop Memory Attentionでは、ループ時間軸に沿った以前のイテレーションから、ループされた各レイヤが自身の状態に参加することができる。 RecurTraceは平均2.0ループで56.9%の精度を達成し、一致した計算で2.2ポイントの最良の固定ループ深さを超えた。
  論文  参考訳（メタデータ） (2026-09-03T05:29:24Z)
• SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
  ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。 混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。 一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
  論文  参考訳（メタデータ） (2026-09-01T14:52:57Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。