論文の概要: A Mechanistic Diagnostic of Rank Collapse in Post-Norm Decoder Transformers

• arxiv url: http://arxiv.org/abs/2608.09417v1
• Date: Mon, 10 Aug 2026 10:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.211753
• Title: A Mechanistic Diagnostic of Rank Collapse in Post-Norm Decoder Transformers
• Title（参考訳）: ノームデコーダ変圧器におけるランク崩壊の機械的診断
• Abstract要約: ディープデコーダのみのトランスフォーマーは、オリジナルのPost-NormアーキテクチャをPre-Normで置き換えることが多い。 本研究では、因果的注意が高相似性表現をいかに生み出すか、また、なぜトレーニングダイナミクスがそれらを修復できないのかを示す。
• 参考スコア（独自算出の注目度）: 8.63727823701713
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep decoder-only Transformers often replace the original Post-Norm architecture with Pre-Norm variants because Post-Norm training is highly sensitive to warmup and learning rate under conventional initialization schemes. Although prior work has identified rank collapse and gradient vanishing as related symptoms, it remains poorly understood how causal attention creates high-similarity representations and why training dynamics fail to repair them. We give a two-stage analysis of Post-Norm rank collapse using token similarity as a scalar state variable. First, at initialization, causal attention acts approximately as a prefix-averaging operator that increases token similarity across depth, while the SwiGLU branch contributes only a smaller damping effect. Second, once training enters a high-similarity regime, growth of pre-normalization residual norms makes the RMSNorm backward factor contractive; under mild conditions, gradients to earlier layers decay geometrically. As a complementary result, we characterize the properties of a collapsed network: its best predictor is frequency distribution with relatively high loss floor, and gradients in collapsed layers vanish at frequency distribution. Experiments on 48-layer decoder-only Transformers trained on C4 dataset match the predicted initialization-time similarity growth and collapse-time gradient contraction, and show that collapsed runs stay near the predicted frequency loss. Together, these results distinguish the forward similarity amplification and backward repair incapacity in Post-Norm collapse, while also characterizing the behavior of collapsed networks.
• Abstract（参考訳）: ディープデコーダのみのトランスフォーマーは、従来の初期化スキームの下でのウォームアップと学習率に非常に敏感であるため、オリジナルのPost-NormアーキテクチャをPre-Norm変種に置き換えることが多い。 先行研究では、ランク崩壊と勾配の消失を関連症状として認識しているが、因果的注意が高相似性表現をいかに生み出すか、なぜトレーニング力学がそれらを修復できないのかは理解されていない。 トークン類似性をスカラー状態変数として用いたポストノームランク崩壊の2段階解析を行った。 第一に、初期化において、因果的注意は、深さにわたってトークンの類似性を高めるプレフィックスを持つ演算子として機能し、一方、SwiGLUブランチは減衰効果を小さくするだけである。 第二に、トレーニングが高相似性体制に入ると、正規化前の残留ノルムの成長はRMSNormの後方因子を収縮させ、穏やかな条件下では、初期の層への勾配は幾何的に崩壊する。 相補的な結果として, 崩壊ネットワークの特性を特徴づける。最も優れた予測器は, 比較的高い損失フロアを有する周波数分布であり, 崩壊層の勾配は周波数分布で消失する。 C4データセットでトレーニングされた48層デコーダのみのトランスフォーマーの実験は、予測初期化時間類似性成長と崩壊時間勾配収縮とを一致させ、崩壊が予測周波数損失の近傍に留まっていることを示す。 これらの結果は, 崩壊後のネットワークの挙動を特徴付けるとともに, 前方類似度増幅と後方補修能力の低下を区別する。

関連論文リスト

• NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption [67.57304101271096]
  Element-wise Masking (EM) は、エッジによって引き起こされるメッセージをゼロに抑制する。 ノイズ破壊(NC)は、一致したノームなランダムな方向の破損を通じて各メッセージに摂動を与える。 騒音破壊に基づく説明フレームワークであるNICEは、NCが引き起こす不確実性の下で復元境界(英語版)(SRB)を学習する。
  論文  参考訳（メタデータ） (2026-08-17T03:08:14Z)
• The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity [22.040532283910522]
  この研究は、この現象のテクトメカニスティックな説明を提供する。 我々はそのルーツを自己注意に固有の価値集約プロセスに遡る。 概念実証として,事前学習時の値アグリゲーション出力を安定化するアーキテクチャ変更であるtextithead-wise RMSNormを提案する。
  論文  参考訳（メタデータ） (2026-05-07T17:28:55Z)
• Monitoring Neural Training with Topology: A Footprint-Predictable Collapse Index [51.56484100374058]
  我々は,MHM(Modular Morse Homology maintenance)とCI(Composite Collapse Index)を併用したオンライントポロジ対応型神経表現モニタを提案する。 コンプレックスを再構築する代わりに、スパース編集を一定のスケールで適用し、離散的なモースマッチングを維持し、高速でインクリメンタルな更新をもたらす。
  論文  参考訳（メタデータ） (2026-04-28T19:21:21Z)
• Representation Collapse in Machine Translation Through the Lens of Angular Dispersion [12.526791012139883]
  標準化された次世代予測トレーニング戦略が,表現の崩壊など,見落とされがちな成果物に繋がる可能性が示唆された。 角分散に基づく既存の正規化手法を導入し, 崩壊を緩和するだけでなく, 翻訳品質の向上も実証した。
  論文  参考訳（メタデータ） (2026-02-19T11:46:38Z)
• Generalizing GNNs with Tokenized Mixture of Experts [75.8310720413187]
  安定性の向上には,変化に敏感な特徴への依存を低減し,既約最悪の一般化フロアを残す必要があることを示す。 本研究では,STEM-GNNを提案する。STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN,STEM-GNN。 9つのノード、リンク、グラフのベンチマークで、STEM-GNNはより強力な3方向バランスを実現し、クリアグラフ上での競争力を維持しながら、次数/ホモフィリーシフトや特徴/エッジの破損に対する堅牢性を改善している。
  論文  参考訳（メタデータ） (2026-02-09T22:48:30Z)
• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• Shift Before You Learn: Enabling Low-Rank Representations in Reinforcement Learning [56.87989363424]
  シフトした後継尺度において,低ランク構造が自然に現れることを示す。 有効な低ランク近似と推定に必要なシフトの量を定量化する。
  論文  参考訳（メタデータ） (2025-09-05T15:48:20Z)
• Two failure modes of deep transformers and how to avoid them: a unified theory of signal propagation at initialisation [8.973965016201822]
  ニューラルネットワークの適切な初期化を見つけることは、スムーズなトレーニングと優れたパフォーマンスを保証するために不可欠である。 トランスフォーマーでは、間違った初期化は、ランク崩壊、すべてのトークンが同様の表現に崩壊するランク崩壊、エントロピー崩壊、高度に集中した注意スコアが不安定になる2つの失敗モードの1つにつながる可能性がある。 ここでは、自己アテンション、層正規化、スキップ接続、勾配を有する深層変圧器による信号伝搬の解析理論を提案する。
  論文  参考訳（メタデータ） (2025-05-30T08:18:23Z)
• Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers [20.25049261035324]
  解析は、完全にトレーニング可能な層を持つ2層ReLU畳み込みニューラルネットワーク(CNN)に拡張する。 以上の結果から,出力層のスケーリングがトレーニングのダイナミックスに不可欠であることが示唆された。 どちらの設定でも、テストエラーの上限と下限にほぼ一致するものを提供します。
  論文  参考訳（メタデータ） (2024-10-24T20:15:45Z)
• Generalization vs. Specialization under Concept Shift [12.196508752999797]
  我々は、概念シフトの下で尾根回帰を分析する。 熱力学限界における予測リスクの正確な表現を導出する。 我々のMNISTとFashionMNISTに関する実験は、この興味深い挙動が分類問題にも存在することを示唆している。
  論文  参考訳（メタデータ） (2024-09-23T22:30:28Z)
• Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning [47.904127007515925]
  本稿では,従来の時間差学習アルゴリズムの変種について検討する。 我々は、圧縮されたTDアルゴリズムと、最適化に広く用いられているエラーフィードバック機構が組み合わさって、漸近的でない近似を保証することを証明した。 特に、これらは一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを考慮に入れたRLにおける最初の有限時間結果である。
  論文  参考訳（メタデータ） (2023-01-03T04:09:38Z)
• Signal Propagation in Transformers: Theoretical Perspectives and the Role of Rank Collapse [11.486545294602697]
  我々はトランスフォーマーにおけるランク崩壊の原因と影響に新たな光を当てた。 トークン表現のランク崩壊は,クエリやキーの勾配がなくなることによって,トレーニングを妨げていることを示す。
  論文  参考訳（メタデータ） (2022-06-07T09:07:24Z)
• Extreme Memorization via Scale of Initialization [72.78162454173803]
  我々は,初期化の規模を変えることが,SGDによって誘導される暗黙の正規化に強く影響を与える実験装置を構築する。 一般化能力に影響を及ぼす範囲と方法が、使用したアクティベーションと損失関数に依存することがわかった。 均質なReLU活性化の場合、この挙動は損失関数に起因することが示される。
  論文  参考訳（メタデータ） (2020-08-31T04:53:11Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• The Break-Even Point on Optimization Trajectories of Deep Neural Networks [64.7563588124004]
  この軌道上の「破滅的な」点の存在を論じる。 トレーニングの初期段階での大きな学習率を用いることで、勾配のばらつきが軽減されることを示す。 また, バッチ正規化層を有するニューラルネットワークにおいても, 低学習率を用いることで損失面の条件が悪くなることを示す。
  論文  参考訳（メタデータ） (2020-02-21T22:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。