論文の概要: UpLoop: Training Looped Transformers via Upcycling at No Extra Pretraining Compute
- arxiv url: http://arxiv.org/abs/2610.41720v1
- Date: Fri, 30 Oct 2026 13:29:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.756239
- Title: UpLoop: Training Looped Transformers via Upcycling at No Extra Pretraining Compute
- Title（参考訳）: UpLoop:アップサイクリングによるループトランスフォーマーのトレーニング
- Abstract要約: ループ言語モデルは、共有重み付き繰り返し計算によって推論を強化することができる。
追加のパスによって浮動小数点演算(FLOP)の訓練が増加し、これらの利得がより高くなる。
ループ変換器のトレーニングにアップサイクリングを利用する事前学習スケジュールであるUpLoopを提案する。
- 参考スコア（独自算出の注目度）: 49.366697311277754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Looped language models can strengthen reasoning through repeated computation with shared weights, increasing execution depth without adding independent parameters. However, each additional pass increases training floating-point operations (FLOPs), making these gains more expensive to obtain. To address this cost, we propose UpLoop, a pretraining schedule that uses upcycling to train looped Transformers while exactly matching a standard dense baseline in final parameter count, total training tokens, and training FLOPs. Specifically, UpLoop begins with a shallow Transformer, progressively grows its depth by copying learned layers, and uses the computation saved early to support repeated execution of a shared middle block later in training. Experiments across model scales show improvements in language modeling and downstream performance, with the average score across 22 downstream tasks increasing from 22.99 to 27.52 at 1.3B parameters. These gains also extend to mathematical reasoning after supervised fine-tuning.
- Abstract（参考訳）: ループ言語モデルは、共有重み付き繰り返し計算による推論を強化し、独立したパラメータを追加することなく実行深度を増大させることができる。
しかし、追加のパスによって浮動小数点演算(FLOP)の訓練が増加し、これらの利得が得られやすくなった。
このコストに対処するため,本研究では,ループ変換器をトレーニングするための事前学習スケジュールであるUpLoopを提案する。
具体的には、UpLoopは浅いTransformerから始まり、学習したレイヤをコピーすることで徐々に深さを拡大し、早期に保存された計算を使用して、トレーニング後の共有ミドルブロックの繰り返し実行をサポートする。
モデルスケールでの実験では、言語モデリングとダウンストリームのパフォーマンスが向上し、22のダウンストリームタスクの平均スコアは1.3Bパラメータで22.99から27.52に増加した。
これらの利得は、教師付き微調整後に数学的推論にまで拡張される。
関連論文リスト
- LoopFold: Parallelizing Recurrent Depth in Looped Transformers [18.205047538563786]
Looped Transformerは、共有バックボーンを繰り返し適用することで、トークン当たりの計算量を増加させる。
既存のアプローチにはParallel Loop Transformerがあり、トークン位置をオーバーラップするループ計算によってレイテンシを低減する。
LoopFoldを導入し、同じトークンプレフィックスに対して、複数の繰り返しの深さで並列バッチに折り畳みます。
論文 参考訳（メタデータ） (2026-10-26T14:58:11Z) - Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation [75.19648865320364]
ループ型変圧器訓練におけるトランケーションの価値を系統的に検討する。
BPTTのループを減らした完全BPTTは、同じ計算の切り詰められた設定を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2026-10-19T08:52:29Z) - Closing the Loop: Practical Training Recipes for Looped Language Models [0.6911410576481534]
ループ言語モデルは、レイヤの共有ブロックを繰り返し適用することで、効果的な深さを増大させる。
既存の大規模なレシピでは、何兆ものトークンを多段階で訓練する必要がある。
ループ型言語モデルの実践的なトレーニングレシピを構築し,3つの主要な結果を得た。
論文 参考訳（メタデータ） (2026-09-30T20:09:58Z) - Loop Dropout: Regularizing Shared Updates in Looped Language Models [18.32401643802363]
ループ言語モデルは、同じ変圧器ブロックを繰り返し適用することで、パラメータカウントから計算深度を分離する。
我々の経験的分析によると、標準低ランク適応(LoRA)における遅延ループバイアスは顕著である。
本稿では,更新強度を維持するために,逆サバイバル再スケーリングによるアダプタアプリケーションのマスキングを低減するループドロップアウトを提案する。
論文 参考訳（メタデータ） (2026-09-28T03:24:28Z) - SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers [50.00050394179417]
ループ変換器はレイヤの共有ブロックを繰り返すことで効果的な深さを増大させるが、ほとんどの評価は固定モデルサイズと比較される。
混合演算変換器のループ化について検討し, トーケン毎のFLOP, 総非埋め込みパラメータ, およびKVキャッシュを密にマッチングする。
一連のアブリケーションを通じて、私たちはSMELTと呼ばれるレシピに到達します。これは3つの予算のすべてで未ループのBaselineにマッチしながら、レイヤの中央半分を2回ループします。
論文 参考訳（メタデータ） (2026-09-01T14:52:57Z) - Multiplication-Free Transformer Training via Piecewise Affine Operations [44.99157696237478]
本稿では,浮動小数点数のビット表現を整数として加えることで実現した,安価なアフィン近似に置き換える。
変換器は、視覚と言語の両方のタスクに対して、結果の修正された行列乗法で、ほとんど、あるいは全く性能に影響を与えずに訓練できることが示される。
論文 参考訳（メタデータ） (2023-05-26T18:28:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。