論文の概要: Optimizer-Induced Mode Connectivity: From AdamW to Muon

• arxiv url: http://arxiv.org/abs/2605.09991v1
• Date: Mon, 11 May 2026 05:07:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.534344
• Title: Optimizer-Induced Mode Connectivity: From AdamW to Muon
• Title（参考訳）: 最適化によるモード接続性:AdamWからMuonへ
• Authors: Fangzhao Zhang, Sungyoon Kim, Erica Zhang, Yiqi Jiang, Mert Pilanci,
• Abstract要約: 我々は、Lion-$mathcalK$ファミリー内の1つのAdamW、Muon、その他からの解が、十分に大きな幅で連結集合を形成することを示す。 広帯域では2つの異なる領域が正則化に応じて解離または重なり合うことができる。
• 参考スコア（独自算出の注目度）: 50.258866851760416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mode connectivity has been widely studied, yet the role of the optimizer remains underexplored. We revisit it through optimizer-induced implicit regularization, asking how connectivity behaves when restricted to solutions constrained by a given optimizer. For two-layer ReLU networks, we show that solutions from a single optimizer -- AdamW, Muon, or others in the Lion-$\mathcal{K}$ family -- form a connected set at sufficiently large width, a result not implied by prior work. We then characterize how optimizer-induced regions interact: at large width two different regions can be disjoint or overlap depending on regularization, while in our small-width example AdamW and Muon converge to disconnected zero-loss components separated by a provable loss barrier. Empirically, in GPT-2 pretraining, we observe same-optimizer paths preserve each model's spectrum while cross-optimizer paths traverse a smooth transition. Our results reveal optimizer-dependent structure beyond classical mode connectivity literature.
• Abstract（参考訳）: モード接続は広く研究されてきたが、オプティマイザの役割は未解明のままである。 我々は、オプティマイザによって引き起こされる暗黙の正規化を通じて再検討し、与えられたオプティマイザによって制約されたソリューションに制限された場合、接続性がどのように振る舞うかを問う。 2層ReLUネットワークの場合、Lion-$\mathcal{K}$ familyの1つのオプティマイザ(AdamW, Muon, その他)からの解は十分に大きな幅で連結集合を形成し、その結果は以前の研究では示されていない。 広帯域では2つの異なる領域が正則化に応じて解離あるいは重複しうるのに対し、小幅の例ではAdamWとMuonは、証明可能な損失障壁によって分離された非連結な零損失成分に収束する。 実験的に、GPT-2事前学習では、相互最適化経路がスムーズな遷移を横切る間、各モデルのスペクトルを保存する同一最適化経路が観察される。 以上の結果から,古典的モード接続文学を超えた最適化型構造が明らかとなった。

関連論文リスト

• Make Optimization Once and for All with Fine-grained Guidance [78.14885351827232]
  Learning to Optimize (L2O)は、統合ニューラルネットワークによる最適化効率を向上させる。 L2Oパラダイムは、例えば、リフィット、目に見えない解決策を反復的または直接的に生成するなど、大きな成果を達成する。 そこで本研究では,Diff-L2Oと呼ばれる学習最適化のための一般的なフレームワークについて検討した。
  論文  参考訳（メタデータ） (2025-03-14T14:48:12Z)
• Preference-Optimized Pareto Set Learning for Blackbox Optimization [1.9628841617148691]
  すべての目的を同時に最適化できる単一のソリューションはありません。 典型的なMOO問題では、目的間の好みを交換する最適解(パレート集合)を見つけることが目的である。 我々の定式化は、例えば微分可能なクロスエントロピー法によって解決できる二段階最適化問題につながる。
  論文  参考訳（メタデータ） (2024-08-19T13:23:07Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• On the Effect of Initialization: The Scaling Path of 2-Layer Neural Networks [21.69222364939501]
  教師付き学習では、正規化経路はゼロからの勾配降下の最適化経路の便利な理論的プロキシとして用いられることがある。 この経路がカーネルとリッチレジームの間に連続的に補間されていることを示す。
  論文  参考訳（メタデータ） (2023-03-31T05:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。