論文の概要: Towards Hyperparameter Transfer for Differentially Private Optimization

• arxiv url: http://arxiv.org/abs/2610.22976v1
• Date: Fri, 16 Oct 2026 05:51:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.776822
• Title: Towards Hyperparameter Transfer for Differentially Private Optimization
• Title（参考訳）: 微分プライベート最適化のためのハイパーパラメータ転送に向けて
• Abstract要約: プライバシー保護設定に$Pを拡張するフレームワークであるDP-$$Pを紹介します。 DP-$Pは,モデル幅間の学習率の効率的なゼロショット転送を可能にすることを実証する。
• 参考スコア（独自算出の注目度）: 32.956054403940755
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling laws and hyperparameter tuning remain central challenges in training large-scale models, particularly under differential privacy (DP), where optimization is further complicated by noise injection and per-sample gradient clipping. While Maximal Update Parametrization ($μ$P) allows for zero-shot hyperparameter transfer in standard training, we show that it fails under DP constraints due to the distinct spectral properties of high-dimensional noise versus low-rank gradients. In this work, we introduce DP-$μ$P, a theoretically grounded framework that extends $μ$P to the privacy-preserving setting. By analyzing the interaction between gradient clipping, noise injection, and feature learning, we derive a Signal-to-Noise Ratio (SNR) condition that governs layer-wise learning rate scaling. Combining this with our proposed spectral scaling formulation, we provide specific scaling rules for DP-SGD, DP-Adam, and DP-Muon optimizers. Empirically, we demonstrate that DP-$μ$P enables effective zero-shot transfer of learning rates across model widths on diverse architectures (MLP, ViT, GPT-2), matching or exceeding the performance of individually tuned baselines while significantly reducing computational costs.
• Abstract（参考訳）: スケール法則とハイパーパラメータチューニングは、特に差分プライバシー(DP)下での大規模モデルのトレーニングにおいて依然として中心的な課題であり、ノイズ注入やサンプルごとの勾配クリッピングによって最適化はさらに複雑である。 最大更新パラメトリゼーション(μ$P)は、標準トレーニングにおいてゼロショットハイパーパラメータ転送を可能にするが、高次元雑音と低ランク勾配のスペクトル特性が異なるため、DP制約の下では失敗することを示す。 本研究では、DP-$μ$Pという理論的な基盤を持つフレームワークを紹介し、プライバシ保護設定に$μ$Pを拡張する。 勾配クリッピング,ノイズ注入,特徴学習の相互作用を解析することにより,階層的学習率のスケーリングを管理する信号対雑音比(SNR)条件を導出する。 提案したスペクトルスケーリングの定式化と組み合わせて,DP-SGD,DP-Adam,DP-Muonオプティマイザに対して,具体的なスケーリングルールを提供する。 実験により,DP-$μ$Pは,多種多様なアーキテクチャ (MLP, ViT, GPT-2) 上で,学習速度のゼロショット転送を効果的に行うことができることを示した。

関連論文リスト

• DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models [25.94292199187493]
  フェデレートラーニング(FL)は、デバイス上のユーザデータを保持しながら、エッジデバイス全体にわたる大規模言語モデルの協調トレーニングを可能にする。 DP-SGDは、各クライアントのコントリビューションを閾値$C$にクリップし、ノイズを$C$に比例させることで、このリスクを軽減する。 DP-LACは,まず,プライベートヒストグラム推定を用いて,最適値の1桁以内の初期クリッピング閾値を推定する手法である。 実証実験の結果、DP-LACは最先端適応クリッピング法とバニラDP-SGDの両方に優れており、平均精度は6.6%である。
  論文  参考訳（メタデータ） (2026-05-11T09:32:21Z)
• Dyn-D$^2$P: Dynamic Differentially Private Decentralized Learning with Provable Utility Guarantee [36.82471440872803]
  動的微分独立分散DP手法(Dyn-D$2$P)を提案する。 Dyn-D$2$P は勾配収束に基づく勾配クリッピング境界と雑音レベルを動的に調整する。 ベンチマークデータセットの実験では、固定レベルノイズを用いた場合よりもDyn-D$2$の方が優れていることが示されている。
  論文  参考訳（メタデータ） (2025-05-10T13:57:57Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• Differentially Private Zeroth-Order Methods for Scalable Large Language Model Finetuning [0.0]
  プリトレーニング済みLLMのDP微調整は、タスク固有のデータセットのプライバシ保護に広く用いられている。 DP-SGDのスケーラビリティを限界まで押し上げたにもかかわらず、DP-SGDベースの微調整法は残念ながらSGD固有の非効率性によって制限されている。
  論文  参考訳（メタデータ） (2024-02-12T17:24:15Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Automatic Clipping: Differentially Private Deep Learning Made Easier and Stronger [39.93710312222771]
  サンプルごとのクリッピングは、ディープラーニングモデルのための実用的な差分プライベート(DP)トレーニングを可能にするアルゴリズムの重要なステップである。 本稿では,任意のDPに対してRをチューニングする必要がなくなる自動クリッピング(automatic clipping)という,使い勝手の良い代替手法を提案する。
  論文  参考訳（メタデータ） (2022-06-14T19:49:44Z)
• Differentially Private Coordinate Descent for Composite Empirical Risk Minimization [13.742100810492014]
  機械学習モデルは、トレーニングに使用されるデータに関する情報をリークすることができる。 Differentially Private (DP) のGradient Descent (DP-SGD) のような最適化アルゴリズムは、これを緩和するために設計されている。 差分的私的リスク最小化法(DP-ERM: Differentially Private Coordinate Descent:DP-CD)を提案する。
  論文  参考訳（メタデータ） (2021-10-22T10:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。