論文の概要: Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale
- arxiv url: http://arxiv.org/abs/2606.19491v1
- Date: Wed, 17 Jun 2026 18:28:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-19 18:23:39.482594
- Title: Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale
- Title（参考訳）: 層状ノーム変圧器の代数的死方向:LLMスケールにおける前向きパスオンリー診断
- Abstract要約: 層ノルムアフィンの逆スケールの$-1/|-1|$は、終末ノルム中心の活性化共分散の正確な核である。
LNスケールパラメータのみから読み出され、前方または後方のパスがなく、固有解がない。
- 参考スコア（独自算出の注目度）: 5.67642958049511
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pretrained transformers sit near singular minima of the loss, where the Fisher information metric degenerates along dead directions: directions in parameter space along which the directional Fisher vanishes. Locating such a direction normally needs a forward pass and an eigendecomposition of activations, or a sampling-based complexity estimate; none returns a direction computable from the network's parameters alone. We give one, for LayerNorm transformers. The inverse-scale direction $γ^{-1}/\|γ^{-1}\|$ of the LayerNorm affine is an exact algebraic kernel of the post-final-norm centred activation covariance, for any input distribution, and induces a corresponding dead direction in parameter space. It is read from the LN scale parameter alone, with no forward or backward pass and no eigensolve: the cheapest dead-direction read, specific to LayerNorm. We test it on $14$ pretrained transformers ($9$ LayerNorm, $5$ RMSNorm; $160$M-$35$B; language and vision objectives). At random initialisation the predicted direction matches the measured bottom singular direction (one forward pass, direct SVD) to four decimal places on $9/9$ LayerNorm models, and is correctly absent on $5/5$ RMSNorm models, which lack the mean-subtraction projector that creates it. On the trained checkpoint the covariance eigenvalue along this direction deepens by ${\sim}10^3\times$ and further dead directions open; the random-init-to-trained gap is a one-forward-pass, per-checkpoint readout of singular structure along the predicted coordinate. Two consequences follow in closed form: the residual stream's smallest singular value is preserved block-to-block on $13/14$ transformers measured on their own input distribution, the one exception (Gemma$4$-$31$B) a genuine dead direction the same read pinpoints; and the kernel direction's presence classifies a transformer's normalisation from the parameters alone.
- Abstract（参考訳）: 事前訓練された変圧器は損失の特異な最小値の近くにあり、フィッシャー情報計量は死方向に沿って縮退する: 方向フィッシャーが消滅するパラメータ空間の方向である。
そのような方向を設定するには、通常フォワードパスとアクティベーションの固有分解、サンプリングベースの複雑性推定が必要であり、ネットワークのパラメータのみから計算可能な方向を返すことはない。
私たちはLayerNorm変換器にこれを与えます。
層ノルムアフィンの逆スケール方向 $γ^{-1}/\|γ^{-1}\|$ は、任意の入力分布に対して、終戦後ノルム中心の活性化共分散の正確な代数的核であり、パラメータ空間における対応する死方向を誘導する。
LNスケールパラメータのみから読み出され、前方または後方のパスがなく、固有解がない。
事前訓練されたトランスフォーマー(LayerNorm、5ドルRMSNorm、$60$M-$35$B、言語とビジョンの目標)でテストします。
ランダム初期化時に予測された方向は、9/9ドルのLayerNormモデルで測定されたボトム特異方向(1フォワードパス、ダイレクトSVD)と4つの10進位置に一致し、5/5ドルのRMSNormモデルでは正しく欠落している。
訓練されたチェックポイント上では、この方向に沿った共分散固有値は${\sim}10^3\times$によりより深くなり、さらに死の方向が開き、ランダム-init-to-trained ギャップは予測された座標に沿って特異構造の単方向の読み出しである。
1つの例外(Gemma$4$-31$B)は同じリードピンポイントの真死方向であり、カーネル方向の存在はトランスフォーマーの正規化をパラメータのみから分類する。
関連論文リスト
- Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Dead-Direction Signatures: A Cheap Spectral Reading of Singular Complexity [5.67642958049511]
特異学習理論は、損失特異点の幾何学を通して深いネットワークの複雑さを特徴づける。
単体構造をもつ安価でクローズドなスペクトル読影器であるDeadDirection Signatures (DDS)を紹介する。
それぞれが選択された層でネットワークの活性化行列またはサンプル単位のフィッシャーグラムを読み、後鎖スペクトル線型代数を置き換える。
論文 参考訳（メタデータ） (2026-06-19T06:49:09Z) - Dead Directions: Geometric Singular Learning [0.0]
特異学習理論と情報幾何学は、主に別々の語彙で同じパラメータ空間を研究してきた。
我々はそれらを1つのプリミティブ、デッド方向、すなわちフィッシャー計量が退化する単位ベクトルを通してブリッジする。
滑らかな繊維上の選択規則は、この速度を実対数正準しきい値に対する渡辺の単一方向寄与に変換する。
多層K-FAC分解は、各フィッシャーブロックをアクティベーションと勾配側率の積として記述する。
論文 参考訳（メタデータ） (2026-06-04T09:54:08Z) - Hidden-State Privacy Has an Empty Middle [51.56484100374058]
すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。
スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
論文 参考訳（メタデータ） (2026-05-21T20:12:09Z) - Where Pretraining writes and Alignment reads: the asymmetry of Transformer weight space [2.2940141855172036]
交叉エントロピー事前トレーニングと優先アライメントは同じトランスフォーマーウェイトを更新するが、幾何学的に異なる痕跡を残している。
我々は、この非対称性を、重量差が残ストリーム活性化部分空間とどのように一致しているかを追跡する相対サブスペース・フレクションプローブで特徴づける。
論文 参考訳（メタデータ） (2026-05-15T20:00:59Z) - Dimensional Criticality at Grokking Across MLPs and Transformers [2.652953665748039]
異なる力学系間の急激な遷移は、複雑なシステムの目印である。
オフライン雪崩探査機 textbfTDU-OFC (Thresholded Diffusion Update--Olami-Feder-Christensen) を紹介する。
モジュラー加算と XOR で訓練された一般化を訓練したトランスフォーマーは、拡散ベースラインの局所的交差をD=1$で発見する。
論文 参考訳（メタデータ） (2026-04-06T13:43:20Z) - Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。
我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。
この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文 参考訳（メタデータ） (2025-10-17T02:58:35Z) - Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。
平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
論文 参考訳（メタデータ） (2025-04-28T16:58:55Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。