論文の概要: Inner Momentum for Differentially Private Muon

• arxiv url: http://arxiv.org/abs/2610.02738v1
• Date: Fri, 02 Oct 2026 03:10:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.177497
• Title: Inner Momentum for Differentially Private Muon
• Title（参考訳）: 特発性自家ムーンに対するインナーモーメント
• Abstract要約: DP-Muon-IM は DP-Muon よりも BLEU と ROUGE-L を改善した。 非私的診断では2-4%低ノイズ極誤差を示した。
• 参考スコア（独自算出の注目度）: 3.331208468797532
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private training clips each per-example gradient before adding noise. This clipping is radial for each example, yet unequal clipping factors can distort the relative singular-vector geometry of their average. Muon is particularly exposed to this effect, since its update is an approximate polar factor UV^T that depends only on the singular vectors that clipping can shift. To curb this degradation, we propose averaging each sampled example's Muon gradient over the current model and a short history of recent models before clipping. The clipped batch matrix then separates into a common rescaling and a covariance residual R between sampled gradients and clipping values, with ||R||_F <= sigma_lambda sigma_G, bounding the clipping-induced distortion directly. We further show that a finite Newton-Schulz iteration preserves the polar factor of its input under these spectral conditions, confirming that our correction survives orthogonalization. In private GPT-2 fine-tuning on E2E and DART at epsilon in {1, 2, 4, 8}, DP-Muon-IM improves BLEU and ROUGE-L over DP-Muon in every seed-matched comparison, and non-private diagnostics show 2-4% lower pre-noise polar error.
• Abstract（参考訳）: 異なるプライベートなトレーニングクリップは、ノイズを追加する前に、各サンプル毎の勾配をクリップする。 このクリッピングはそれぞれの例に対して放射的であるが、不等なクリッピング因子はそれらの平均の相対特異ベクトル幾何学を歪めることができる。 ミューオンは、その更新は、クリップングがシフトできる特異ベクトルのみに依存する近似極性因子UV^Tであるからである。 この劣化を抑制するために,各サンプルのMuon勾配を現在のモデルと最近のモデルの短い歴史に平均化することを提案する。 次に、クリッピングされたバッチ行列は、サンプル勾配とクリッピング値の間の共通再スケーリングと共分散残差Rを|R|||_F <= sigma_lambda sigma_Gで分離し、クリッピング誘起歪みを直接有界化する。 さらに、有限ニュートン・シュルツ反復は、これらのスペクトル条件下で入力の極係数を保ち、補正が直交化を継続することを示す。 In private GPT-2 fine-tuning on Epsilon in {1, 2, 4, 8}, DP-Muon-IM improveing BLEU and ROUGE-L over DP-Muon in every seed-matched comparison, and non-private diagnosiss showed 2-4% lower pre-noise polar error。

関連論文リスト

• Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
  グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。 有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。 我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
  論文  参考訳（メタデータ） (2026-09-26T21:47:14Z)
• Muon Under Gradient Noise and the Limits of Orthogonalization Near Optima [10.232844836735259]
  各重み行列の運動量バッファーをその極因子で置き換えることを示す。 エルミート展開は、入力ノイズとは無関係な非線形残留に運動量がどのように作用するかを示す。 その結果、最適化がノイズ支配となると、応答整合運動量SGDによる勾配化の置き換えが理論的に成り立つ。
  論文  参考訳（メタデータ） (2026-09-26T18:38:27Z)
• Beyond the Matrix Sign: Quadratic Spectral Descent [6.589542614722917]
  最適更新の特異値と特異方向の両方を曲率で変化させることができることを示す。 GPTプレトレーニングの実験では、QSDはムーンと最近のムーンの変種に対する検証損失を一貫して改善している。
  論文  参考訳（メタデータ） (2026-09-07T15:07:24Z)
• The Spectral Dynamics and Noise Geometry of Muon [0.6335848702857036]
  Muon は行列勾配 $G=UVtop$ を極係数 $UVtop$ に置き換える。 この操作によって生成される最適化バイアスについて検討する。
  論文  参考訳（メタデータ） (2026-06-07T00:51:30Z)
• Gradient Clipping Beyond Vector Norms: A Spectral Approach for Matrix-Valued Parameters [48.3175117923623]
  ほとんどの勾配クリッピング規則は、全てのパラメータを重ベクトルとして扱い、現代のベクトルの行列構造を無視する。 実験により、データのアウトリーチは、少数のリード特異値のみを増幅することを示した。 この現象を動機として,特異値で安定化するクリッピングを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:24:59Z)
• Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study [3.265950484493743]
  拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
  論文  参考訳（メタデータ） (2025-05-28T20:22:18Z)
• Clip Body and Tail Separately: High Probability Guarantees for DPSGD with Heavy Tails [20.432871178766927]
  Differentially Private Gradient Descent (DPSGD)は、ディープラーニングにおけるトレーニングデータのプライバシを保護するために広く利用されている。 DPSGDは、標準への勾配をクリップし、訓練手順に校正されたノイズを注入する。 本稿では,2つの重要な反復を含む新しい手法であるDPSGDを提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:30:11Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Optimization Variance: Exploring Generalization Properties of DNNs [83.78477167211315]
  ディープニューラルネットワーク(DNN)のテストエラーは、しばしば二重降下を示す。 そこで本研究では,モデル更新の多様性を測定するために,新しい測度である最適化分散(OV)を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:34:17Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。