論文の概要: UpLoop: Upcycling Large Language Models with Gated Loop

• arxiv url: http://arxiv.org/abs/2610.25004v1
• Date: Sun, 18 Oct 2026 04:19:12 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:09:03.952278
• Title: UpLoop: Upcycling Large Language Models with Gated Loop
• Title（参考訳）: UpLoop: Gated Loopで大規模言語モデルを立ち上げる
• Abstract要約: UpLoopは、Emphlayer-wise Recurrentenceに基づいたトレーニング後のレシピである。 選択した各レイヤをローカルにループし、トレーニング済みの深さ階層を保存する。 UpLoopは20ベンチマークの平均精度を$R=3$で6.17%改善する。
• 参考スコア（独自算出の注目度）: 39.48062139885519
• License:
• Abstract: Looped large language models trade parameter storage for recurrent computation, but most are trained from scratch. In practice, pretraining with looped depth is expensive, making post-training upcycling of a pretrained non-looped LLM an attractive alternative. We introduce \textbf{UpLoop}, a post-training recipe based on \emph{layer-wise} recurrence. Instead of looping a whole model or a middle block, UpLoop loops each selected layer locally, preserving the pretrained depth hierarchy and avoiding feature-space mismatch. To make loop execution useful, we add hidden-wise gates on the attention and MLP residual branches, so later loops act as progressive refinements rather than redundant rewrites. Empirically, UpLoop breaks the commonly observed saturation at two loops ($R=2$) in prior looped models. Starting from Qwen3-4B Base and applying SFT, UpLoop improves the average accuracy across 20 benchmarks by 6.17\% at $R=3$. We use $R=3$ as the main setting for the best accuracy--cost trade-off, while both native and extrapolated $R=4$ yield further gains.
• Abstract（参考訳）: ループされた大きな言語モデルは、繰り返し計算のためにパラメータストレージを交換するが、そのほとんどはスクラッチから訓練されている。 実際には、ループ深度での事前学習は高価であり、事前訓練された非ループLCMの後更新サイクルが魅力的な代替手段となる。 本稿では, ポストトレーニングレシピである \textbf{UpLoop} について紹介する。 モデル全体やミドルブロックをループする代わりに、UpLoopは選択した各レイヤをローカルにループし、事前訓練された深さ階層を保持し、特徴空間のミスマッチを回避する。 ループ実行を便利にするために、注意に隠れたゲートとMLP残差分を付加するため、後続のループは冗長な書き直しよりも進歩的な改善として機能する。 実証的に、UpLoopは2つのループ(R=2$)で観測される飽和を破る。 Qwen3-4BベースからSFTを適用し、UpLoopは20ベンチマークの平均精度を$R=3$で6.17\%改善した。 我々は、最良の精度とコストのトレードオフのための主要な設定として$R=3$を使用します。

関連論文リスト

• Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation [75.19648865320364]
  ループ変換器は、トレーニング可能なパラメータの数を増やすことなく計算深度を増やすために、共有層ブロックを再利用する。 トレーニング計算を保存するため、BPTTは最後の数ループに切り替わることが多い。 BPTTのループを減らした完全BPTTは、同じ計算の切り詰められた設定を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-10-19T08:52:29Z)
• One Model to Loop Them All: Elastic Latent Recurrence for Language Models [42.54052939692861]
  Elastic Latent Recurrence (ELR)は、1ループ税なしでループ言語モデルをトレーニングするためのレシピである。 ステップサイズを学習したゲート状態更新、更新毎にループカウントが混在し、各パスをループインデックスと予算で条件付けする、という3つの選択肢がある。
  論文  参考訳（メタデータ） (2026-10-08T18:05:42Z)
• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• LoopMTP: A looped transformer guided by latent multi-token prediction [2.2694459418593698]
  MTP(Multi-token Prediction)は、ループが欠落しているような密集した前方監視を提供する。 textscLoopMTPは、非ループベースラインよりも平均精度を最大8.1%向上させる。
  論文  参考訳（メタデータ） (2026-08-04T13:13:09Z)
• DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
  ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。 我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。 結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
  論文  参考訳（メタデータ） (2026-07-15T06:37:05Z)
• Position-Aware Depth Decay Decoding ($D^3$): Boosting Large Language Model Inference Efficiency [26.173523821684306]
  トークン配置対応層スキップフレームワークを提案し,性能を維持しつつ1.5倍の演算を効率よく節約する。 7 sim 70$のパラメータを持つ大規模言語モデルの実験では、D3$は完全な推論パイプラインと比較して平均1.5倍のスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2025-03-11T15:15:54Z)
• Towards Efficient Automatic Self-Pruning of Large Language Models [55.90119819642064]
  トレーニング後の構造化プルーニングは、トレーニングを必要とせずに大規模言語モデルを熟成する有望なソリューションである。 この問題を緩和する鍵は、各レイヤのプルーニング率を正確に決定することにある、と我々は主張する。 我々は、レイヤワイドプルーニングレートを効率的に検索するLLMのためのエンドツーエンドの自動自動プルーニングフレームワークである$textbfSelf-Prunerを紹介した。
  論文  参考訳（メタデータ） (2025-02-20T09:59:50Z)
• Scaling Up Differentially Private LASSO Regularized Logistic Regression via Faster Frank-Wolfe Iterations [51.14495595270775]
  我々は,Frank-Wolfeアルゴリズムを$L_1$のペナル化線形回帰に適応させ,スパース入力を認識し,有効利用する。 この方法では,プライバシパラメータ$epsilon$の値とデータセットの分散度に応じて,最大2,200times$の係数でランタイムを削減できることを示す。
  論文  参考訳（メタデータ） (2023-10-30T19:52:43Z)
• [Reproducibility Report] Rigging the Lottery: Making All Tickets Winners [1.6884611234933766]
  スパーストレーニングアルゴリズムである$textitRigL$は、既存の密集型トレーニング技術のパフォーマンスに適合または超過したスパースネットワークを直接トレーニングする、と主張している。 Pytorchのスクラッチから$textitRigL$を実装し、報告された値の0.1%以内でCIFAR-10のパフォーマンスを再現する。
  論文  参考訳（メタデータ） (2021-03-29T17:01:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。