論文の概要: Transforming Rank: How Architecture Navigates the Spectral Pathologies of Depth
- arxiv url: http://arxiv.org/abs/2607.14018v1
- Date: Wed, 15 Jul 2026 16:50:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.835378
- Title: Transforming Rank: How Architecture Navigates the Spectral Pathologies of Depth
- Title（参考訳）: トランスフォーミングランク: アーキテクチャが深さのスペクトル病理をいかにナビゲートするか
- Abstract要約: スキップ接続は、分岐とスキップの相対スケールによって制御されるアンサンブルのような動作に対して、ランク崩壊を排除していることを示す。
我々は,深層ネットワークのアーキテクチャ設計を,ランク崩壊,アンサンブルのような振る舞い,パラメータ数といった固有のトレードオフをナビゲートするものとして再放送する。
- 参考スコア（独自算出の注目度）: 0.628489453360764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate how each component of the Transformer feedforward block architecture design determines how much rank survives across depth at initialization. We reinterpret skip connections and normalization, long understood as controlling magnitude, as mechanisms for preserving gradient rank across depth, since the very matrix multiplications and nonlinear activations that make the network expressive also reduce the rank. We show that skip connections trade off rank collapse against ensemble-like behavior, controlled by the relative scales of the branch and the skip: skip connections route the gradient around the residual branch, where rank is lost, rather than along the long gradient paths that encourage the layers to compose. The placement of the normalization layer controls this same tradeoff by setting the branch-to-skip ratio across depth, unifying much of the normalization placement and depth scaling literature, in particular why rank collapses for Post-Norm but plateaus for Pre-Norm. Other aspects of the architecture, like the two-matrix structure that expands and contracts the width, use additional parameters to preserve the representation or branch Jacobian rank. The second matrix decorrelates a coherent mean spike that would grow across blocks with a single matrix and uncentered activation, preventing the residual representation from collapsing. The width expansion between the two matrices keeps the branch Jacobian full rank: applying the rank-reducing activation in this expanded space leaves enough directions to span the original, at a width that follows a Marchenko--Pastur law. The initialization rank of the input--output Jacobian predicts which networks train on CIFAR-10. Taken together, we recast architecture design for deep networks as navigating an intrinsic tradeoff among rank collapse, ensemble-like behavior, and parameter count.
- Abstract（参考訳）: 本稿では,Transformerのフィードフォワードブロックアーキテクチャ設計の各コンポーネントが初期化時にどの程度のランクが残るかを決定する方法について検討する。
ネットワークを表現力のあるものにする行列乗算と非線形活性化を考慮し, 接続をスキップし, 正規化を制御できる機構として再解釈する。
スキップ接続は, 階層の構成を促進する長い勾配経路ではなく, 階層の相対的なスケールとスキップによって制御されるアンサンブル的な動作に対して, ランク崩壊を排除していることを示す。
正規化層の配置は、分枝比を深さにわたって設定し、正規化配置と深さスケーリングの文献の多くを統一することにより、同じトレードオフを制御している。
アーキテクチャの他の側面、例えば幅を広げて収縮する2つの行列構造は、表現や分岐ヤコビアン階を保存するために追加のパラメータを使用する。
第2の行列は、1つの行列と非中心的活性化でブロック全体に成長するコヒーレント平均スパイクをデコレーションし、残留表現が崩壊することを防ぐ。
2つの行列の間の幅拡大は、分岐ジャコビアン全階を保ち、この拡張された空間においてランク緩和活性化を適用すると、元の階数にまたがる十分な方向をマーテンコ-パスチュア法則に従う幅に残す。
そこで我々は,階層崩壊,アンサンブルのような振る舞い,パラメータ数など,内在的なトレードオフをナビゲートする深層ネットワークのアーキテクチャ設計について再放送する。
関連論文リスト
- WAVE: Reversing the Guidance Hierarchy for Coarse-to-Fine Guided Depth Super-Resolution [50.15623093332659]
誘導深度超解像(GDSR)は、通常、畳み込み階層を通してRGB誘導特徴を抽出し、その微細な粗いバイアスを継承する。
本稿では,マルチレベル離散ウェーブレット変換(ML-DWT)を明示的かつ解釈可能な特徴制御機構として導入するWAVEを提案する。
WAVEはサブバンドを利用して、高周波と低周波のコンテンツを別々に処理し、そのソースに誤解を招くRGB色とテクスチャの手がかりをフィルタリングする。
論文 参考訳（メタデータ） (2026-08-26T02:16:41Z) - CascadeFormer: Depth-Tapered Transformers Motivated by Gradient Fan-in Asymmetry [34.36337082439934]
ディープトランスフォーマーは、一様に積み重ねられた残余ブロックで構成されているが、最も深いレイヤは、ほとんど価値を与えない。
この非対称性を利用する2つの効率方法を提案する。
CascadeFormerは、レイヤー間の不均一な情報フローに一致する深さで幅をテーパーし、同じトレーニング予算で均一なベースラインに匹敵する難易度を実現し、レイテンシを8.6%削減し、スループットを9.4%向上させた。
論文 参考訳（メタデータ） (2026-06-25T02:25:00Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳（メタデータ） (2026-05-26T10:10:26Z) - Attention Residuals [38.59138244826294]
PreNorm との残余接続は現代の LLM では標準的なものであるが、固定単位重み付きで全ての層出力を蓄積する。
本稿では,アテンション残余(AttnRes)を提案する。
論文 参考訳（メタデータ） (2026-03-16T09:32:21Z) - Deep Delta Learning [91.75868893250662]
本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。
我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。
この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
論文 参考訳（メタデータ） (2026-01-01T18:11:38Z) - Mind the Gap: a Spectral Analysis of Rank Collapse and Signal Propagation in Attention Layers [3.686808512438363]
ソフトマックスに基づく注意の代替は、効果的な情報の流れを妨げる傾向があるためである。
我々は、注目行列の2つの最大の特異勾配の間のスペクトルギャップを明らかにするために厳密な解析を行う。
外れ値を取り除き、広さのランク崩壊を解消する新しい簡単な実用的解法を提案する。
論文 参考訳（メタデータ） (2024-10-10T10:34:18Z) - On the Role of Attention Masks and LayerNorm in Transformers [55.81177251872377]
自己注意はトランスの鍵となるメカニズムである。
近年の研究では、純粋な自己意識は階級崩壊の度合いが増すことが示されている。
論文 参考訳（メタデータ） (2024-05-29T05:41:28Z) - Make Deep Networks Shallow Again [6.647569337929869]
余剰接続の概念によってブレークスルーが達成されている。
残差接続層のスタックはテイラー展開に類似した項の拡張として表すことができる。
言い換えれば、シーケンシャルなディープアーキテクチャは、平行な浅層アーキテクチャに置き換えられる。
論文 参考訳（メタデータ） (2023-09-15T14:18:21Z) - Orthogonalizing Convolutional Layers with the Cayley Transform [83.73855414030646]
直交に制約された畳み込み層をパラメータ化するための代替手法を提案し,評価する。
本手法は,大規模畳み込みにおいても直交性が高次に保たれることを示す。
論文 参考訳（メタデータ） (2021-04-14T23:54:55Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Batch Normalization Provably Avoids Rank Collapse for Randomly
Initialised Deep Networks [15.499554384036673]
バッチ正規化は線形ネットワークとReLUネットワークの両方のランク崩壊を避ける効果的な戦略である。
我々は、深い線形ネットワークにおいて有意義な下位ランクを導出する。
経験的に、このランクのロバスト性はReLUネットに一般化されることを実証する。
論文 参考訳（メタデータ） (2020-03-03T17:21:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。