論文の概要: DP-Muon: Differentially Private Optimization via Matrix-Orthogonalized Momentum
- arxiv url: http://arxiv.org/abs/2605.12994v1
- Date: Wed, 13 May 2026 04:52:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.814729
- Title: DP-Muon: Differentially Private Optimization via Matrix-Orthogonalized Momentum
- Title（参考訳）: DP-Muon:Matrix-Orthogonalized Momentumによる微分プライベート最適化
- Authors: Jihwan Kim, Chenglin Fan,
- Abstract要約: DP-ムーン(DP-Muon)は、指数行列勾配をクリップするプライベートなムーン手順である。
我々は、DP-Muonが、対応する同一のサブサンプリングされたガウス会計士によって認証されたプライバシー保証を継承していることを証明する。
- 参考スコア（独自算出の注目度）: 13.811651343801579
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study differentially private (DP) training with Muon, a matrix-valued optimizer that updates hidden-layer weights using momentum followed by Newton--Schulz orthogonalization. While DP-SGD is well understood, the interaction between per-example clipping, Gaussian noise, momentum, and nonlinear orthogonalization in Muon has not been systematically analyzed. We formulate DP-Muon, a private Muon procedure that clips per-example matrix gradients, adds Gaussian noise to the clipped lot average, and then applies momentum and Newton--Schulz orthogonalization as post-processing. We prove that DP-Muon inherits the privacy guarantee certified by the corresponding same-lot subsampled Gaussian accountant, with no additional privacy cost from Muon-specific post-processing. On the optimization side, we establish finite-horizon and vanishing stationarity guarantees under per-matrix clipping, with bounds that separate optimization error, clipping residual, privacy noise, and Newton--Schulz approximation error. We further show that the DP-induced bias in Muon arises not in the linear momentum buffer itself, but after the nonlinear Newton--Schulz map, where Gaussian noise induces a matrix-valued heat-smoothing bias. This motivates DP-MuonBC, a bias-corrected variant that removes the leading output-level bias term while preserving the same privacy guarantee. Experiments on E2E and DART show that Muon-style matrix updates improve private fine-tuning, and that DP-MuonBC further improves utility without increasing the privacy budget.
- Abstract（参考訳）: 運動量を用いて隠れ層重みを更新する行列値オプティマイザであるMuonとNewton-Schulz直交化による差分プライベート(DP)トレーニングについて検討した。
DP-SGDはよく理解されているが、ムオンにおけるサンプルごとのクリッピング、ガウスノイズ、運動量、非線形直交化の相互作用は体系的に分析されていない。
DP-ムーン(DP-Muon)法を定式化し, 実測行列勾配をカットし, 切り取ったロット平均にガウスノイズを加え, モーメントを適用し, ニュートン-シュルツ直交化を後処理として適用する。
我々は、DP-Muonが、Muon固有の後処理による追加のプライバシーコストを伴わずに、対応する同一のサブサンプリングされたガウシアン会計士によって認証されたプライバシー保証を継承していることを証明する。
最適化面では,有限ホライズンと定常性保証の解消を,行列毎のクリッピングの下で確立し,最適化誤差の分離,残差のクリッピング,プライバシノイズ,Newton-Schulz近似誤差を分離する。
さらに、ムオンのDP誘起バイアスは線形運動量バッファ自身ではなく、非線形ニュートン-シュルツ写像の後に生じることを示し、ガウスノイズは行列値の熱平滑化バイアスを誘導する。
これはDP-MuonBCを動機付けている。DP-MuonBCはバイアス補正の変種で、同じプライバシー保証を維持しながら、主要な出力レベルのバイアス項を除去する。
E2EとDARTの実験では、Muonスタイルのマトリックス更新はプライベートな微調整を改善し、DP-MuonBCはプライバシー予算を増やさずに実用性をさらに向上する。
関連論文リスト
- Muon is Not That Special: Random or Inverted Spectra Work Just as Well [50.969177887027115]
正確な幾何構造が性能に影響を及ぼす重要な要因ではないことを実証する。
ここでは、Schatten (quasi-size)normsに基づく幾何学のファミリであるFreonを紹介する。
また、特異値をランダムノイズで置き換える不条理なKaonを導入する。
論文 参考訳（メタデータ） (2026-05-11T19:42:48Z) - Deep Learning under Fractional-Order Differential Privacy [0.0]
個人差分勾配降下(DP-SGD)は、プライバシ重み学習の標準的なアプローチである。
ガウスノイズが付加される前に、この現在のみのクエリを置き換えるメカニズムを提案する。
FO-DP-SGDは、プライベート最適化における長期記憶効果を研究するためのフレームワークを提供する。
論文 参考訳（メタデータ） (2026-05-11T02:29:13Z) - DPRM: A Plug-in Doob h transform-induced Token-Ordering Module for Diffusion Language Models [76.12556589212666]
本稿では拡散言語モデルのためのプラグイントークン順序付けモジュールDPRM(Doob h-transform Process Reward Model)を紹介する。
DPRMは信頼性駆動のプログレッシブオーダから始まり、徐々にDoobh変換プロセスリワード誘導オーダへと移行する。
抽出可能な最適化の仮定の下では、DPRMはランダムおよび信頼のみの順序よりもサンプル複雑さの優位性が得られる。
論文 参考訳（メタデータ） (2026-04-27T11:50:26Z) - Muon$^2$: Boosting Muon via Adaptive Second-Moment Preconditioning [18.570226339282296]
Muonは、大規模な基礎モデル事前トレーニングのための有望な計算として登場した。
メモリオーバーヘッドが無視できるMuon$2$のゲインをほとんど保存するメモリ効率の係数化変種であるMuon$2$を提案する。
論文 参考訳（メタデータ） (2026-04-11T00:27:40Z) - LoRA and Privacy: When Random Projections Help (and When They Don't) [55.65932772290123]
我々は、$S mapto M f(S)$ with $M sim W_d (1/r I_d, r)$という形のランダムマップである(ウィッシュアート)プロジェクション機構を導入し、その差分プライバシー特性について検討する。
ベクトル値が$f$の場合、付加雑音のない非漸近DP保証を証明し、ウィッシュアートのランダム性だけで十分であることを示す。
しかし,行列値クエリでは,ノイズフリーな環境では,そのメカニズムはDPではなく,その脆弱性を実証する。
論文 参考訳（メタデータ） (2026-01-29T13:43:37Z) - Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。
DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。
提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
論文 参考訳（メタデータ） (2023-11-24T17:56:44Z) - DP-Forward: Fine-tuning and Inference on Language Models with Differential Privacy in Forward Pass [22.578388829171157]
DP-フォワードの摂動は言語モデルの前方通過に埋め込まれる。
ほぼ民間のベースラインに到達し、プライバシーレベルではDP-SGDを7.7ppまで上回っている。
論文 参考訳（メタデータ） (2023-09-13T06:37:53Z) - NeuroMixGDP: A Neural Collapse-Inspired Random Mixup for Private Data
Release [11.42197907876942]
プライバシを保存するデータリリースアルゴリズムは、ユーザのプライバシを保護する能力に注目を集めている。
生データの混成は、データ拡張の新しい方法を提供し、有用性を改善するのに役立つ。
本稿では, 単純な構造を活かし, ノイズの多い混合機能をリリースするために, ニューラル・コラプス機能を混在させる手法を提案する。
論文 参考訳（メタデータ） (2022-02-14T03:01:05Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。