Fugu-MT 論文翻訳(概要): Dead-Direction Conditioners: Gauge-Equivariant Preconditioning for Deep Networks

論文の概要: Dead-Direction Conditioners: Gauge-Equivariant Preconditioning for Deep Networks

arxiv url: http://arxiv.org/abs/2606.29176v1
Date: Sun, 28 Jun 2026 03:44:59 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.823201
Title: Dead-Direction Conditioners: Gauge-Equivariant Preconditioning for Deep Networks
Title（参考訳）: デッドダイレクトコンディショナー:ディープネットワークのためのゲージ等価プリコンディショニング
Authors: Tejas Pradeep Shirodkar,
Abstract要約: ディープネットワークの損失はそのパラメータの連続対称性に不変である。我々は、$G$-不変距離の軌道分解を条件付けるデッド・ディビジョン・コンディショナーであるDDCを構築する。適合点を越えて訓練された言語モデルでは、DDCAdamはAdamWの過度のトレーニング崩壊に抵抗し、5.88に対して0.67のトレーニング損失ギャップを保持し、65層中32層でデッドダイレクト率を読み取る。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A deep network's loss is invariant to continuous symmetries of its parameters: the logit shift, the ReLU rescaling, the LayerNorm scale, the per-head attention rotation. Adam's per-coordinate preconditioner drifts along each symmetry orbit, which pulls the trajectory off the symmetry quotient where the optimization lives and blurs the singular-learning rate the quotient makes readable. We build DDC, a Dead-Direction Conditioner that lifts a base optimizer into a $G$-equivariant one: it conditions the optimizer's state in the orbit decomposition of a $G$-invariant metric, so the trajectory stays a preconditioned gradient flow on the quotient $\barΘ= Θ/G$. The construction carries four architectural gauges (cross-entropy shift, ReLU and SwiGLU rescaling, LayerNorm and RMSNorm scale, and a per-head $O(d_{\rm head})$ attention rotation matched to RoPE), proves exactly equivariant on an Adam base, and composes with a Muon base through a gauge-equivariant orthogonaliser. Respecting the symmetry changes both the minimum the optimizer reaches and what it leaves measurable there. On a language model trained past the point of fit, DDCAdam resists the over-training collapse AdamW falls into, holding a validation-train loss gap of 0.67 against 5.88, and reads the dead-direction rate in 32 of 65 layer-by-observable cells where AdamW reads it in 7. A vision transformer trained from scratch reaches lower validation loss (1.71 against 2.12) while compressing spare feed-forward capacity a matched AdamW leaves intact. On a Muon base, where the rotation gauge composes exactly, DDCMuon groks ten of eleven seeds at depth 24 that a plain Muon never reaches. Built into the optimizer, a network's gauge symmetry sharpens the minimum it finds and turns that minimum's geometry into something the trajectory can measure.
Abstract（参考訳）: ディープ・ネットワークの損失は、ロジットシフト、ReLU再スケーリング、LayerNormスケール、ヘッド・アテンション・ローテーションといったパラメータの連続した対称性に不変である。アダムの調整されたプレコンディショナーは各対称性の軌道に沿ってドリフトし、最適化が居住する対称性の商から軌道を引き出し、商が読み取る特異学習率を曖昧にする。 DDCは、ベースオプティマイザを$G$-等変量に引き上げるデッド・ディレクション・コンディショナーで、$G$-不変計量の軌道分解におけるオプティマイザの状態を条件にしているので、トラジェクトリは、商 $\bar'= s/G$ 上で事前条件付き勾配の流れを保っている。この構成には4つのアーキテクチャゲージ(クロスエントロピーシフト、ReLUとSwiGLUの再スケーリング、LayerNormとRMSNormスケール、および1ヘッド当たりの$O(d_{\rm head})$アテンションローテーションがRoPEと一致する)があり、Adamベース上で正確に同変であることを証明し、ゲージ同変直交器を通じてミューオンベースを構成する。対称性を尊重すると、オプティマイザが到達する最小値と、そこで測定可能なものの両方が変化する。適合点を越えて訓練された言語モデル上で、DDCAdamはAdamWの過度なトレーニング崩壊に抵抗し、AdamWは0.67と5.88のバリデーション-トレイン損失ギャップを保持し、65層中32層でデッドダイレクトレートを読み、AdamWは7で読み取る。スクラッチから訓練された視覚変換器は、AdamWの葉にマッチした予備給電容量を圧縮しながら、低い検証損失(1.71対2.12)に達する。回転ゲージが正確に構成されるムーンベースでは、DDCMuonは、平らなムーンが到達しない深さ24で11個の種のうち10個を収穫する。オープティマイザに組み込まれたネットワークのゲージ対称性は、探す最小限を鋭くし、最小限の幾何学を軌跡が測定できるものに変える。

論文の概要: Dead-Direction Conditioners: Gauge-Equivariant Preconditioning for Deep Networks

関連論文リスト