論文の概要: Optimizer-Induced Mode Connectivity: From AdamW to Muon

• arxiv url: http://arxiv.org/abs/2605.09991v1
• Date: Mon, 11 May 2026 05:07:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.534344
• Title: Optimizer-Induced Mode Connectivity: From AdamW to Muon
• Title（参考訳）: 最適化によるモード接続性:AdamWからMuonへ
• Abstract要約: 我々は、Lion-$mathcalK$ファミリー内の1つのAdamW、Muon、その他からの解が、十分に大きな幅で連結集合を形成することを示す。 広帯域では2つの異なる領域が正則化に応じて解離または重なり合うことができる。
• 参考スコア（独自算出の注目度）: 50.258866851760416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mode connectivity has been widely studied, yet the role of the optimizer remains underexplored. We revisit it through optimizer-induced implicit regularization, asking how connectivity behaves when restricted to solutions constrained by a given optimizer. For two-layer ReLU networks, we show that solutions from a single optimizer -- AdamW, Muon, or others in the Lion-$\mathcal{K}$ family -- form a connected set at sufficiently large width, a result not implied by prior work. We then characterize how optimizer-induced regions interact: at large width two different regions can be disjoint or overlap depending on regularization, while in our small-width example AdamW and Muon converge to disconnected zero-loss components separated by a provable loss barrier. Empirically, in GPT-2 pretraining, we observe same-optimizer paths preserve each model's spectrum while cross-optimizer paths traverse a smooth transition. Our results reveal optimizer-dependent structure beyond classical mode connectivity literature.
• Abstract（参考訳）: モード接続は広く研究されてきたが、オプティマイザの役割は未解明のままである。 我々は、オプティマイザによって引き起こされる暗黙の正規化を通じて再検討し、与えられたオプティマイザによって制約されたソリューションに制限された場合、接続性がどのように振る舞うかを問う。 2層ReLUネットワークの場合、Lion-$\mathcal{K}$ familyの1つのオプティマイザ(AdamW, Muon, その他)からの解は十分に大きな幅で連結集合を形成し、その結果は以前の研究では示されていない。 広帯域では2つの異なる領域が正則化に応じて解離あるいは重複しうるのに対し、小幅の例ではAdamWとMuonは、証明可能な損失障壁によって分離された非連結な零損失成分に収束する。 実験的に、GPT-2事前学習では、相互最適化経路がスムーズな遷移を横切る間、各モデルのスペクトルを保存する同一最適化経路が観察される。 以上の結果から,古典的モード接続文学を超えた最適化型構造が明らかとなった。

関連論文リスト

• When Muon Meets Task Interference: A Spectral Perspective on Continual Learning and Model Merging [32.67767249149513]
  2つの困難は、実際には同じ現象の2つの事例であることを示す。 あるタスクに有用なパラメータの更新は、モデルの出力を別のタスクにシフトさせる。 建設によってこの因子を調節するメカニズムとして,最近のMuonを同定する。
  論文  参考訳（メタデータ） (2026-08-27T10:56:58Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization [66.08522228989634]
  非パラメトリックインスツルメンタル変数回帰(NPIV)における2段階最小二乗法(2SLS)アプローチのためのニューラルネットワークの最初の大域収束結果を確立する。 これは平均場ランゲヴィンダイナミクス(MFLD)を通して持ち上げられた視点を採用することで達成される。
  論文  参考訳（メタデータ） (2025-11-18T17:51:17Z)
• From Parameter to Representation: A Closed-Form Approach for Controllable Model Merging [22.794831741556468]
  モデルマージは、マルチタスクのパフォーマンスのエキスパートモデルを組み合わせるが、パラメータ干渉による課題に直面している。 既存のアプローチではコンパイル型クエリーのパラダイムを採用しており、高速で好み対応のモデル生成を可能にするために、コストのかかるオフラインの多目的最適化を実行する。 我々は、この補正を最適線形変換としてモデル化し、オフライン最適化プロセス全体を単一ステップでアーキテクチャに依存しない計算で置き換える閉形式解を得る。
  論文  参考訳（メタデータ） (2025-11-14T04:09:25Z)
• Make Optimization Once and for All with Fine-grained Guidance [78.14885351827232]
  Learning to Optimize (L2O)は、統合ニューラルネットワークによる最適化効率を向上させる。 L2Oパラダイムは、例えば、リフィット、目に見えない解決策を反復的または直接的に生成するなど、大きな成果を達成する。 そこで本研究では,Diff-L2Oと呼ばれる学習最適化のための一般的なフレームワークについて検討した。
  論文  参考訳（メタデータ） (2025-03-14T14:48:12Z)
• Preference-Optimized Pareto Set Learning for Blackbox Optimization [1.9628841617148691]
  すべての目的を同時に最適化できる単一のソリューションはありません。 典型的なMOO問題では、目的間の好みを交換する最適解(パレート集合)を見つけることが目的である。 我々の定式化は、例えば微分可能なクロスエントロピー法によって解決できる二段階最適化問題につながる。
  論文  参考訳（メタデータ） (2024-08-19T13:23:07Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• On the Effect of Initialization: The Scaling Path of 2-Layer Neural Networks [21.69222364939501]
  教師付き学習では、正規化経路はゼロからの勾配降下の最適化経路の便利な理論的プロキシとして用いられることがある。 この経路がカーネルとリッチレジームの間に連続的に補間されていることを示す。
  論文  参考訳（メタデータ） (2023-03-31T05:32:11Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。