論文の概要: When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study

• arxiv url: http://arxiv.org/abs/2605.26929v1
• Date: Tue, 26 May 2026 12:24:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.077621
• Title: When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study
• Title（参考訳）: Muon Optimizerが対人訓練に出会った時--理論的および実証的研究
• Authors: Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei,
• Abstract要約: 敵の攻撃に対する最も信頼性の高い実証的防御の1つとして、敵の訓練(AT)がある。 SGDはATのデフォルトの最適化選択であり続けているが、アダプティブは標準トレーニングを改善することが多いが、ロバスト性は劣る可能性がある。 Muonは、SGDに匹敵するメモリコストで大規模なトレーニングに成功した。
• 参考スコア（独自算出の注目度）: 12.606171332119908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training (AT) remains one of the most reliable empirical defenses against adversarial attacks. Its robustness critically depends on how the underlying min-max objective is optimized. In practice, Stochastic Gradient Descent (SGD) optimizer remains the default optimization choice for AT, whereas adaptive optimizers often improve standard training but may yield inferior robustness. Recently, the Muon optimizer, which orthogonalizes matrix-valued updates via an approximate polar decomposition, has achieved notable success in large-scale training at a memory cost comparable to SGD. This raises a security-relevant question: \textit{can orthogonalized optimization improve AT under strong and heterogeneous threat models?} Focusing on this problem, we conduct a comprehensive theoretical and empirical study. Theoretically, we show that Muon imposes a spectral-norm stability ceiling on matrix updates, limiting uncontrolled spectral growth in the training dynamics without explicitly shrinking the learned weights. Empirically, across five architectures and three $\ell_p$ threat models ($\ell_\infty$, $\ell_1$, $\ell_2$) and their union, Muon is competitive with SGD on CNNs and substantially outperforms AdamW on both CNNs and ViTs. These results identify optimizer geometry as a security-relevant factor in adversarial training, while clarifying the empirical regimes in which orthogonalized updates are beneficial. Overall, our findings highlight optimizer design as a security-critical component of AT.
• Abstract（参考訳）: 敵の訓練(AT)は、敵の攻撃に対する最も信頼できる経験的防御の1つである。 その堅牢性は、基盤となるmin-maxの目的がどのように最適化されているかに大きく依存する。 実際には、Stochastic Gradient Descent(SGD)オプティマイザはATのデフォルトの最適化選択であり続けているが、適応型オプティマイザはしばしば標準トレーニングを改善するが、ロバスト性は劣る。 近年,行列値更新を近似極分解により直交的に最適化するMuonオプティマイザが,SGDに匹敵するメモリコストで大規模トレーニングに成功している。 これはセキュリティ関連の疑問を提起する。 \textit{can の直交最適化は、強力で異質な脅威モデルの下でATを改善するのか? 本稿は,この問題に焦点をあて,包括的な理論的,実証的研究を行う。 理論的には、Muonは行列更新に対してスペクトル-ノルム安定性の上限を課し、学習重量を明示的に縮小することなく、トレーニング力学における制御不能なスペクトル成長を制限している。 5つのアーキテクチャと3つの$\ell_p$の脅威モデル($\ell_\infty$, $\ell_1$, $\ell_2$)とそれらの合併によって、MuonはCNNのSGDと競合し、CNNとViTの両方でAdamWをはるかに上回っている。 これらの結果は, 直交的更新が有用である経験的状況を明らかにしつつ, 対人訓練におけるセキュリティ関連因子としてオプティマイザ幾何を同定した。 全体として,ATのセキュリティクリティカルなコンポーネントとして,オプティマイザ設計に注目した。

関連論文リスト

• ROOT: Robust Orthogonalized Optimizer for Neural Network Training [47.05662448082334]
  大規模言語モデル(LLM)は、特にモデルのスケーリングがインプレクションやトレーニングの不安定性に対する感受性を悪化させるため、依然として重要な課題である。 我々は,特定の行列サイズに合わせた反復によるロバスト性を高める次元ロバスト化手法を開発した。 第2に,有意な方向を保ちながら外周雑音を抑制する最適化ロバスト化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-25T18:48:05Z)
• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Optimizers Qualitatively Alter Solutions And We Should Leverage This [62.662640460717476]
  ディープニューラルネットワーク(DNN)は、SGDのようなローカル情報のみを使用する場合、損失のグローバルな最小限に収束することを保証できない。 コミュニティは、既存のメソッドのバイアスを理解すること、また、ソリューションの特定の特性を誘発する明示的な意図で、新しいDNNを構築することを目的としている。
  論文  参考訳（メタデータ） (2025-07-16T13:33:31Z)
• Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning [45.64632177923583]
  本研究は、不要なデータの影響を取り除くことを目的として、大規模言語モデル(LLM)アンラーニングの問題を研究する。 未学習の需要が増えているにもかかわらず、技術的に地平線を画した最適化フレームワークは欠如している。 我々はSimNPOと呼ばれるシンプルで効果的なアンラーニング最適化フレームワークを提案し、参照モデルへの依存をなくすことによる「単純さ」がアンラーニングの恩恵をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-10-09T17:58:12Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
  アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。 トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。 特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
  論文  参考訳（メタデータ） (2021-02-17T16:58:04Z)
• Improved Adversarial Training via Learned Optimizer [101.38877975769198]
  対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。 共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
  論文  参考訳（メタデータ） (2020-04-25T20:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。