論文の概要: LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition
- arxiv url: http://arxiv.org/abs/2610.09179v1
- Date: Tue, 06 Oct 2026 22:30:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.634643
- Title: LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition
- Title（参考訳）: LayerRoPE: 動的深さワイドマグニチュードと角重ね合わせ
- Abstract要約: データがトランスフォーマーを介して伝播するにつれて、その隠された状態のノルムは、深さで桁違いに大きくなる。
我々はこの深度条件付き符号化を、深度軸に沿ったRoPEの暗黙のアナログであるLayerRoPEで明示する。
モデルはしごは100ドル以上のトークンまでスケールし、LayerRoPEはPre-、Post-、Peri-Norm、Layer-Norm Scalingを一貫して上回っている。
- 参考スコア（独自算出の注目度）: 9.361485430804171
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As data propagates through a Transformer, the norm of its hidden states grows by orders of magnitude with depth, a phenomenon framed as 'curse of depth' and nearly universally treated as a pathology to be suppressed. We take the opposite view. Across 16 pre-trained LLMs from 9 families, spanning dense, mixture-of-experts and hybrid architectures and Pre-, Peri- and Post-Norm designs, we find that this growth reflects an emergent depth-positional encoding, carried by the only learned per-layer gain on the residual stream, the normalization weight $γ$: with depth, $γ$ grows in magnitude and rotates in direction, jointly encoding the layer index. We make this depth-conditioned encoding explicit with LayerRoPE, an implicit analog of RoPE along the depth axis, which replaces all layerwise $γ$ vectors with a single shared vector and depth-conditioned scalars, at a net reduction in parameters and $<0.02\%$ change in FLOPs. Across a model ladder scaled up to $100$B+ tokens, LayerRoPE consistently outperforms Pre-, Post- and Peri-Norm and Layer-Norm Scaling, reaching Pre-Norm's 1.3B loss with $3.4\times$ less compute; LayerRoPE is the only approach that shows strong convergence and improves near monotonically as depth scales to 512 layers. It improves learning-rate sensitivity by $3$-$10\times$, and transfers naively to and consistently improves looped latent models and Vision Transformers. Inspecting its learned schedule inverts the prevailing premise: LayerRoPE does not shrink the residual stream but widens it, damping what each block reads while amplifying what it writes. Depth stability, our results suggest, calls not for suppressing the residual stream, but for depth-conditioned regulation of the computational blocks it feeds.
- Abstract（参考訳）: データはトランスフォーマーを介して伝播するので、その隠された状態のノルムは「深さの曲線」としてフレーム化され、抑制される病理としてほぼ普遍的に扱われる。
私たちは反対の見方を取る。
9群から16種類の事前学習LLM, 密集, 混合混合, ハイブリッドアーキテクチャ, プレ, ペリ, ポストノームの設計にまたがって, この成長は, 残差ストリーム上で唯一学習された層間ゲイン, 正規化重量$γ$: で表され, 大きく成長し, 方向に回転して, 層指数を共に符号化する, 創発的な深さ位置符号化を反映していることがわかった。
この深度条件付き符号化を、深度軸に沿ったRoPEの暗黙のアナログであるLayerRoPEで明示する。これは、すべての層次$γ$ベクトルを単一の共有ベクトルと深さ条件付きスカラーに置き換え、パラメータの純削減とFLOPの$<0.02\%$変更を行う。
モデルはしごは100ドル以上のトークンにスケールし、LayerRoPEはPre-、Post-、Peri-Norm、Layer-Norm Scalingを一貫して上回り、Pre-Normの1.3B損失を3.4\times$低計算で達成した。
学習速度の感度を3ドル～10ドル(約3万3000円)で改善し、ループした潜在モデルやビジョントランスフォーマーに直感的に移行し、一貫して改善します。
LayerRoPEは、残留ストリームを縮小するのではなく、それを拡大し、各ブロックがリードするものを減らし、書き込みを増幅します。
この結果から, 残差ストリームの抑制ではなく, 供給する計算ブロックの深度条件による制御を求めることが示唆された。
関連論文リスト
- The Price of Locality: Why Forward-Forward Underperforms Backpropagation? [48.810148858960254]
フォワードフォワードアルゴリズム(FFA)は、バックプロパゲーションをレイヤワイドな局所的なコントラッシブな目的に置き換える。
本稿では、同時更新による最適化フロアと、局所更新機構によって駆動されるレイヤ表現の幾何学的崩壊という、2つの構造的障害モードを診断する。
論文 参考訳（メタデータ） (2026-09-27T05:27:55Z) - DeepLoop: Depth Scaling for Looped Transformers [91.7922038545625]
ループ変換器は、複数のラウンドにコンパクトな物理ブロックのスタックを適用することで、シーケンシャルな計算をスケールする。
我々は、この密着した深さ効果を、訪問配向係数によって制御された一階の摂動によって定式化する。
結果のメソッド textbfDeepLoop は Post-LN DeepNorm アーキテクチャを保持し、非ロール深度に対して $= (2N)1/2$ と $=(8N)-1/2$ をセットする。
論文 参考訳（メタデータ） (2026-07-15T06:37:05Z) - CascadeFormer: Depth-Tapered Transformers Motivated by Gradient Fan-in Asymmetry [34.36337082439934]
ディープトランスフォーマーは、一様に積み重ねられた残余ブロックで構成されているが、最も深いレイヤは、ほとんど価値を与えない。
この非対称性を利用する2つの効率方法を提案する。
CascadeFormerは、レイヤー間の不均一な情報フローに一致する深さで幅をテーパーし、同じトレーニング予算で均一なベースラインに匹敵する難易度を実現し、レイテンシを8.6%削減し、スループットを9.4%向上させた。
論文 参考訳（メタデータ） (2026-06-25T02:25:00Z) - Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。
密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
論文 参考訳（メタデータ） (2026-06-20T07:03:26Z) - From Edges to Depth: Probing the Spatial Hierarchy in Vision Transformers [0.0]
視覚変換器は画像分類のみを訓練し、空間的理解を必要とするタスクに日常的に移行した。
このような構造がどこに、どのくらい強固にエンコードされているか尋ねる。
その結果、分類訓練されたViTは、活発に維持された空間階層を発達させる。
論文 参考訳（メタデータ） (2026-04-25T21:48:24Z) - The Recurrent Transformer: Greater Effective Depth and Efficient Decoding [48.9323408950142]
Recurrent Transformerは、各レイヤがそれぞれのアクティベーションから計算されたキーと値のペアに付随する、シンプルなアーキテクチャ変更である。
このアーキテクチャは, (i) 従来のトランスフォーマーと (ii) トークン・ツー・グレッシブ・リカレント更新の両方を軽度な仮定でエミュレートできることを示す。
論文 参考訳（メタデータ） (2026-04-23T02:12:58Z) - Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。
我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。
この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文 参考訳（メタデータ） (2025-10-17T02:58:35Z) - Arithmetic-Mean $μ$P for Modern Architectures: A Unified Learning-Rate Scale for CNNs and ResNets [9.94514344279733]
Arithmetic-Mean $mu$P は個々の層ではなく、ネットワーク全体の平均1ステップのプレアクティベーション第2モーメントを一定スケールに制限する。
1次元および2次元の畳み込みネットワークの場合、最大更新学習率は$etastar(L)propto L-3/2$; を満足する。
論文 参考訳（メタデータ） (2025-10-05T19:22:50Z) - The Curse of Depth in Large Language Models [28.37870372690079]
大きな言語モデルでは、約半数のレイヤが予想よりも効果が低い。
層ノルムスケーリング(LNS)は、層正規化の出力の分散を、その深さの平方根によって逆向きにスケールする。
LNSは、LLM事前学習性能の向上において、従来の正規化およびスケーリング技術よりも一貫して優れている。
論文 参考訳（メタデータ） (2025-02-09T07:03:36Z) - Unifying Global-Local Representations in Salient Object Detection with Transformer [55.23033277636774]
我々は、視覚変換器という新しいアテンションベースのエンコーダを有能な物体検出に導入する。
非常に浅い層でのグローバルビューでは、トランスフォーマーエンコーダはより局所的な表現を保持する。
提案手法は,5つのベンチマークにおいて,他のFCN法およびトランスフォーマー法よりも優れていた。
論文 参考訳（メタデータ） (2021-08-05T17:51:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。