論文の概要: On the Residual Scaling of Looped Transformers: Stability and Transferability
- arxiv url: http://arxiv.org/abs/2606.18524v1
- Date: Tue, 16 Jun 2026 22:39:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:50.919905
- Title: On the Residual Scaling of Looped Transformers: Stability and Transferability
- Title（参考訳）: ループ変換器の残留スケーリングについて:安定性と伝達性
- Abstract要約: 1/N$のスケーリングは、トレーニング性を改善し、ループ数で1/sqrtN$のスケーリングよりも優れた損失をもたらすことを示す。
ループ変換器の実験では、1/N$のスケーリングがトレーニング性を改善し、ループ数を越えたスケールで1/sqrtN$よりもよい損失をもたらすことが確認されている。
- 参考スコア（独自算出の注目度）: 31.27468588849646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Looped (weight-tied) Transformers apply a shared residual block $N$ times ($h \leftarrow h + \varepsilon\,f(h)$, same $f$ at each step), increasing effective depth without adding parameters. Prior depth-scaling analyses prescribe $\varepsilon = 1/\!\sqrt{L}$ for depth-$L$ residual networks. We show that this is insufficient for looped architectures: weight sharing makes residual updates correlated across iterations, requiring the stronger scaling $\varepsilon = 1/N$. For multi-layer blocks ($L$ unique layers looped $N$ times), we derive a factored parameterization $\varepsilon = λ/(N\!\sqrt{L})$ that separates the two sources of growth: $1/N$ controls the within-layer loop correlation, and $1/\!\sqrt{L}$ controls the across-layer variance. A key consequence is that the optimal learning rate depends only on the number of unique layers $L$, not on the loop count $N$, enabling direct hyperparameter transfer from small to large $N$ without retuning. Experiments on looped Transformers confirm that $1/N$ scaling improves trainability and yields better loss than $1/\!\sqrt{N}$ scaling across loop counts.
- Abstract（参考訳）: Looped (weight-tied) Transformerは、共有残余ブロック$N$ times$h \leftarrow h + \varepsilon\,f(h)$, same $f$を各ステップで適用し、パラメータを追加することなく効果的な深さを増大させる。
事前の深さスケーリング分析では$\varepsilon = 1/\!
深さ-$L$残差ネットワークに対して \sqrt{L}$。
重みの共有は繰り返しの間に残余の更新を相関させ、より強力なスケーリングの$\varepsilon = 1/N$を必要とします。
多層ブロック (L$ unique layer looped $N$ times) の場合、因子化パラメータ化$\varepsilon = λ/(N\!
1/N$は層内ループ相関を制御し、1/\!
\sqrt{L}$は層間分散を制御する。
その結果、最適な学習レートは、ループ数$N$ではなく、ユニークなレイヤ数$L$にのみ依存し、調整することなく、小さなものから大きなものへの直接ハイパーパラメータ転送を可能にする。
ループトランスフォーマーの実験では,1/N$のスケーリングによってトレーニング性が向上し,1/\!
\sqrt{N}$ ループカウントのスケーリング。
関連論文リスト
- DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。
我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。
結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
論文 参考訳（メタデータ） (2026-07-15T06:37:05Z) - How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models [33.509836193149795]
ループ(深度再帰)言語モデルにどれだけの余分な再発があるかを測定する。
本手法は任意のループ化LMに適用し,真のループ改善をトークン予算ゲインから分離する。
論文 参考訳（メタデータ） (2026-04-22T21:51:11Z) - Rank-Aware Spectral Bounds on Attention Logits for Stable Low-Precision Training [0.0]
変圧器における注意スコアは、低精度トレーニングにおけるオーバーフローリスクを最大で支配する2次形式である$S_ij = x_itop M x_j / sqrtd_h$である。
相互作用行列 $M = WQ WKtop$ が階数 $r ll d$ を持つとき、$max_i,j|S_ij|$ は $exp(-d22/) となる。
論文 参考訳（メタデータ） (2026-02-21T14:29:22Z) - Efficient and Minimax-optimal In-context Nonparametric Regression with Transformers [5.687100661457289]
我々は、$(log n)パラメータと$bigl(n2/(2+d)log3 nbigr)$事前学習列を持つ事前学習変換器が、最小収束率を達成できることを証明する。
論文 参考訳（メタデータ） (2026-01-21T14:13:38Z) - Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。
我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。
この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文 参考訳（メタデータ） (2025-10-17T02:58:35Z) - Arithmetic-Mean $μ$P for Modern Architectures: A Unified Learning-Rate Scale for CNNs and ResNets [9.94514344279733]
Arithmetic-Mean $mu$P は個々の層ではなく、ネットワーク全体の平均1ステップのプレアクティベーション第2モーメントを一定スケールに制限する。
1次元および2次元の畳み込みネットワークの場合、最大更新学習率は$etastar(L)propto L-3/2$; を満足する。
論文 参考訳（メタデータ） (2025-10-05T19:22:50Z) - On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。
我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。
収束率は$frac1Tsum_k=1Tと類似していると考えられる。
論文 参考訳（メタデータ） (2024-02-01T07:21:32Z) - Scaling Up Differentially Private LASSO Regularized Logistic Regression
via Faster Frank-Wolfe Iterations [51.14495595270775]
我々は,Frank-Wolfeアルゴリズムを$L_1$のペナル化線形回帰に適応させ,スパース入力を認識し,有効利用する。
この方法では,プライバシパラメータ$epsilon$の値とデータセットの分散度に応じて,最大2,200times$の係数でランタイムを削減できることを示す。
論文 参考訳（メタデータ） (2023-10-30T19:52:43Z) - Depth Dependence of $\mu$P Learning Rates in ReLU MLPs [72.14317069090407]
我々は、最大更新(mu$P)学習率の$n$と$L$に依存することを研究する。
我々は、$L3/2.$のように、$L$の非自明な依存があることを発見した。
論文 参考訳（メタデータ） (2023-05-13T01:10:49Z) - Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$
Geometry [69.24618367447101]
対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。
損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
論文 参考訳（メタデータ） (2021-03-02T06:53:44Z) - Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。
計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文 参考訳（メタデータ） (2020-10-08T22:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。