Fugu-MT 論文翻訳(概要): Equivariance Breaks the Learning Rate

論文の概要: Equivariance Breaks the Learning Rate

arxiv url: http://arxiv.org/abs/2609.08381v1
Date: Tue, 08 Sep 2026 07:52:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-10 19:44:08.612265
Title: Equivariance Breaks the Learning Rate
Title（参考訳）: 平等さは学習率を損なう
Abstract要約: 等変ネットワークは一般的にアダムで訓練される。等変線形層内のこの違いの1つの源を同定する。ブロックワイドなステップ制御と運動量蓄積が、ムオンの利点の大部分を占めることを示す。
参考スコア（独自算出の注目度）: 24.409404298953234
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Equivariant networks are commonly trained with Adam, yet recent work reports that matrix-structured optimizers such as Muon can perform better on these architectures without explaining why. We identify one source of this difference inside equivariant linear layers. Each irrep block learns a channel-mixing matrix $W_l$ shared across its $2l+1$ components, giving the expanded map $W_l \otimes I_{2l+1}$. For a single application of the layer, the gradient of $W_l$ sums $2l+1$ outer product contributions and has rank at most $2l+1$. Adam rescales stored weights individually without using the irrep boundaries, so one learning rate can produce different spectral step sizes across blocks within a layer. We address this mismatch by normalizing each block update separately, without introducing a new hyperparameter. This changes only the scale of the update, leaving Adam's moment estimates and its direction within each block unchanged. We evaluate the mechanism in a controlled $\mathrm{SO}(3)$-equivariant model with a matched dense control and in an e3nn interatomic potential model trained on rMD17 and MD22. The toy setup isolates a mismatch that grows with width while the dense control shows no corresponding growth. In the interatomic potential model, block normalization and tuning Adam's momentum coefficients independently improve performance, but neither alone matches Muon. Combined, they make Adam competitive with Muon on all datasets, indicating that blockwise step control and momentum accumulation account for much of Muon's advantage.
Abstract（参考訳）: 等変ネットワークは一般的にAdamで訓練されているが、最近の研究報告では、Muonのような行列構造最適化器は理由を説明することなくこれらのアーキテクチャでより良い性能を発揮する。等変線形層内のこの違いの1つの源を同定する。各既約ブロックは、チャネル混合行列$W_l$を2l+1$コンポーネント間で共有し、拡張された写像$W_l \otimes I_{2l+1}$を与える。層の1つのアプリケーションに対して、$W_l$の勾配は2l+1$の外積コントリビューションを合計し、最高2l+1$のランクを持つ。アダムは、既知境界を使わずに記憶された重みを個別にスケーリングするため、1つの学習速度は、層内のブロック間で異なるスペクトルステップサイズを生成することができる。我々は、新しいハイパーパラメータを導入することなく、各ブロック更新を別々に正規化することで、このミスマッチに対処する。これは更新の規模だけを変え、Adamのモーメントと各ブロック内の方向は変化しない。我々は,制御された高密度制御を持つ$\mathrm{SO}(3)$-equivariantモデルと,rMD17およびMD22で訓練されたe3nn原子間ポテンシャルモデルにおいて,そのメカニズムを評価する。玩具装置は、密集した制御が対応する成長を示さない間に、幅とともに成長するミスマッチを分離する。原子間ポテンシャルモデルでは、ブロック正規化とアダムの運動量係数のチューニングは独立に性能を向上させるが、どちらもムオンと一致しない。これらの組み合わせにより、AdamはすべてのデータセットでMuonと競合し、ブロックワイドなステップ制御と運動量蓄積がMuonの利点の大部分を担っていることを示している。

関連論文リスト

Neural Quadratic Forms: A Unified Minimal Model for Sudden Learning and Scaling Laws [12.27037893891717]
スムーズなコスト関数上の勾配降下によって訓練されたニューラルネットワークは、ステップで学習することができる。訓練損失はスムーズな電力法に従っている。対称性がそれらの変数を固定していることが示される。
論文参考訳（メタデータ） (2026-08-13T15:05:43Z)
Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
論文参考訳（メタデータ） (2026-06-24T15:40:26Z)
Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
論文参考訳（メタデータ） (2026-05-22T10:24:57Z)
Scaling Laws and Tradeoffs in Recurrent Networks of Expressive Neurons [27.855778669417592]
皮質ニューロンは複雑で、マルチタイムスケールのプロセッサで、リカレント回路に接続されている。機械学習は主に、初期のニューラルネットワーク理論から継承された、非常に単純なユニットのモデルを構築する。本稿では,Expressive Memory (ELM) ニューロンからリカレント層を構築するEMMネットワークを紹介する。
論文参考訳（メタデータ） (2026-05-12T12:29:33Z)
PolarAdamW: Disentangling Spectral Control and Schur Gauge-Equivariance in Matrix Optimisation [0.2538209532048867]
PolarAdamWは、ムオンの極性スペクトル-ノルム制御を保存するが、ゲージ-等分散を破る制御ハイブリッドである。 DeiT-TinyはImageNet-1kの4つの独立した100クラスのサブセットをスクラッチからトレーニングした。多重性基底自由度が非自明なSO(3)-同変3D点雲回帰では、Muonは監査された全容量でPolarAdamWより優れる。
論文参考訳（メタデータ） (2026-05-08T00:19:13Z)
Scale-Invariant Fast Convergence in Games [67.02769061793619]
我々は,スケールフリーでもスケール不変でも,高速収束を実現する学習力学を開発した。 2プレーヤゼロサムゲームに対しては、$tildeO(A_mathrmdiff)$で有界な外部後悔を伴うスケールフリーかつスケール不変のダイナミクスが得られる。マルチプレイヤーの汎用ゲームでは、過去の観測に基づいて観察された勾配をクリップする2倍のクリッピングと呼ばれる手法によって、スケールフリーの学習も可能となる。
論文参考訳（メタデータ） (2026-02-12T11:57:20Z)
Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
論文参考訳（メタデータ） (2025-10-17T02:58:35Z)
Arithmetic-Mean $μ$P for Modern Architectures: A Unified Learning-Rate Scale for CNNs and ResNets [9.94514344279733]
Arithmetic-Mean $mu$P は個々の層ではなく、ネットワーク全体の平均1ステップのプレアクティベーション第2モーメントを一定スケールに制限する。 1次元および2次元の畳み込みネットワークの場合、最大更新学習率は$etastar(L)propto L-3/2$; を満足する。
論文参考訳（メタデータ） (2025-10-05T19:22:50Z)
Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-07T15:03:50Z)
Near-Optimal No-Regret Learning for Correlated Equilibria in Multi-Player General-Sum Games [104.74734408204749]
マルチプレイヤーの汎用正規形式ゲームにおいて,OMWU(Optimistic Multiplicative Weights Update)を用いているエージェントが全員,O(textrmpolylog(T))$(T$)$(T$)$(OMWU)$(OMWU)$(OMWU)$(OMWU)$(OMWU)$)であることを示す。外部の後悔から内部の後悔へと結果を拡張し、後悔を交換することで、近似した平衡に収束する非結合学習ダイナミクスを確立する。
論文参考訳（メタデータ） (2021-11-11T01:19:53Z)
AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。