論文の概要: How Does Muon Work in Private Deep Learning? Scalable Differentially Private Training via Orthogonalization

• arxiv url: http://arxiv.org/abs/2610.24736v1
• Date: Sat, 17 Oct 2026 15:00:57 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:42:37.108522
• Title: How Does Muon Work in Private Deep Learning? Scalable Differentially Private Training via Orthogonalization
• Title（参考訳）: ムーンはプライベートディープラーニングでどのように機能するか? 直交化によるスケーラブルな微分プライベートトレーニング
• Abstract要約: 差分的にプライベートなミューオンの変種であるDPMuonを提案する。 プライバシーの下で、最適な学習率、運動量、バッチサイズがどのように変化するかを示す。
• 参考スコア（独自算出の注目度）: 47.6809108846667
• License:
• Abstract: Training deep neural networks requires optimizers that balance computational efficiency with formal data privacy. While orthogonalized update rules, such as the recently introduced Muon optimizer, have shown strong empirical performance and scalability, their behavior under Differential Privacy (DP) is not yet understood. In this paper, we propose DP-Muon, a differentially private variant of the Muon optimizer. By analyzing Muon's orthogonalized updates through the lens of a Linear Minimization Oracle (LMO), we show that the leading effect of per-example clipping is a positive rescaling of the gradient, to which the LMO is blind, so that only a small directional residual controlled by the centered gradient variance enters the optimization error. This yields an $\mathcal O(K^{-1/4})$ convergence rate, up to logarithmic factors, to a clipping-dependent neighborhood at a fixed noise scale and, with noise calibrated to a fixed $(\varepsilon,δ)$ budget, the standard $(\sqrt d/(n\varepsilon))^{1/2}$ privacy--utility bound of DP-SGD, without assuming bounded gradients. Furthermore, we investigate the hyperparameter landscape of DP-Muon and document how the optimal learning rate, momentum, and batch size change under privacy. Empirically, on image classification DP-Muon matches or improves on DP-SGD and DP-Adam, whereas on language modeling the best optimizer depends on the batch size, with DP-Muon best at small batches and DP-Adam best near the privacy-optimal batch size.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニングには、計算効率とフォーマルなデータプライバシのバランスをとるオプティマイザが必要である。 最近導入されたMuonオプティマイザのような直交的な更新ルールは、強力な経験的パフォーマンスとスケーラビリティを示しているが、差分プライバシー(DP)の下での動作はまだ理解されていない。 本稿では,Muonオプティマイザの微分プライベートな変種であるDP-Muonを提案する。 線形最小化Oracle (LMO) のレンズによるMuonの直交的更新を解析することにより、サンプルごとのクリッピングのリード効果が、LMOが見えない勾配の正の再スケーリングであることを示す。 これにより、対数係数まで$\mathcal O(K^{-1/4})$収束率、固定ノイズスケールでのクリップ依存近傍、および定値の$(\varepsilon,δ)$予算で標準の$(\sqrt d/(n\varepsilon))^{1/2}$プライバシー効用境界のDP-SGDを仮定することなく、定値の$(\varepsilon,δ)$予算となる。 さらに,DP-Muonのハイパーパラメータ環境を調査し,プライバシー下での最適学習率,運動量,バッチサイズの変化について述べる。 画像分類ではDP-MuonがDP-SGDとDP-Adamにマッチするか改善されるのに対して、言語モデリングでは、最良のオプティマイザはバッチサイズに依存し、DP-Muonは小さなバッチで、DP-Adamはプライバシーと最適のバッチサイズに近い。

関連論文リスト

• Towards Hyperparameter Transfer for Differentially Private Optimization [32.956054403940755]
  プライバシー保護設定に$Pを拡張するフレームワークであるDP-$$Pを紹介します。 DP-$Pは,モデル幅間の学習率の効率的なゼロショット転送を可能にすることを実証する。
  論文  参考訳（メタデータ） (2026-10-16T05:51:00Z)
• DP-Muon: Differentially Private Optimization via Matrix-Orthogonalized Momentum [13.811651343801579]
  DP-ムーン(DP-Muon)は、指数行列勾配をクリップするプライベートなムーン手順である。 我々は、DP-Muonが、対応する同一のサブサンプリングされたガウス会計士によって認証されたプライバシー保証を継承していることを証明する。
  論文  参考訳（メタデータ） (2026-05-13T04:52:24Z)
• Adaptive Methods Are Preferable in High Privacy Settings: An SDE Perspective [42.70658101277954]
  プライバシー規制の厳格化に伴い、差分プライバシー(DP)は大規模トレーニングの中心になりつつある。 微分方程式のレンズによる最適化において、雑音が適応性とどのように相互作用するかを再考する。 DP-SignSGD は $varepsilon$ から独立して、DP-SignSGD は $varepsilon$ から独立に、DP-SignSGD は $varepsilon$ から独立に、速度は $varepsilon$ に収束する。
  論文  参考訳（メタデータ） (2026-03-03T18:17:57Z)
• On Optimal Hyperparameters for Differentially Private Deep Transfer Learning [4.107181236953139]
  最適な$C$と経験的結果の選択方法に関する現在の理論的理解との間には、明らかなミスマッチがある。 ひとつの$(C,B)をタスク間で設定するという一般的なプラクティスが、サブ最適パフォーマンスにつながる点を強調します。
  論文  参考訳（メタデータ） (2025-10-23T14:48:03Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Private Fine-tuning of Large Language Models with Zeroth-order Optimization [51.19403058739522]
  差分的プライベート勾配降下(DP-SGD)により、モデルはプライバシ保護の方法でトレーニングできる。 DP-ZO(DP-ZO)は,ゼロオーダー最適化手法を民営化することで,大規模言語モデルのためのプライベートな微調整フレームワークである。
  論文  参考訳（メタデータ） (2024-01-09T03:53:59Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。