論文の概要: On the Inherent Privacy of Zeroth Order Projected Gradient Descent

• arxiv url: http://arxiv.org/abs/2507.05610v2
• Date: Wed, 09 Jul 2025 02:44:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-10 13:22:10.078825
• Title: On the Inherent Privacy of Zeroth Order Projected Gradient Descent
• Title（参考訳）: 第0次射影勾配の固有プライバシーについて
• Authors: Devansh Gupta, Meisam Razaviyayn, Vatsal Sharan,
• Abstract要約: ゼロ階グラディエントDescent (ZO-GD) の実行が微分プライベートでないような凸目的関数が存在することを示す。 また、ランダムなイテレーションであっても、ZO-GDのプライバシ損失は、イテレーション数とともに超直線的に増加する可能性があることを示す。
• 参考スコア（独自算出の注目度）: 16.381524087701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private zeroth-order optimization methods have recently gained popularity in private fine tuning of machine learning models due to their reduced memory requirements. Current approaches for privatizing zeroth-order methods rely on adding Gaussian noise to the estimated zeroth-order gradients. However, since the search direction in the zeroth-order methods is inherently random, researchers including Tang et al. (2024) and Zhang et al. (2024a) have raised an important question: is the inherent noise in zeroth-order estimators sufficient to ensure the overall differential privacy of the algorithm? This work settles this question for a class of oracle-based optimization algorithms where the oracle returns zeroth-order gradient estimates. In particular, we show that for a fixed initialization, there exist strongly convex objective functions such that running (Projected) Zeroth-Order Gradient Descent (ZO-GD) is not differentially private. Furthermore, we show that even with random initialization and without revealing (initial and) intermediate iterates, the privacy loss in ZO-GD can grow superlinearly with the number of iterations when minimizing convex objective functions.
• Abstract（参考訳）: 近年, メモリ要求の低減により, プライベートなゼロオーダー最適化手法が機械学習モデルの微調整で人気を博している。 ゼロ階法を民営化するための現在のアプローチは、推定ゼロ階勾配にガウスノイズを加えることに依存している。 しかし、ゼロ階法における探索方向は本質的にランダムであるため、Tang et al (2024) や Zhang et al (2024a) といった研究者は重要な疑問を提起している。 この研究は、オラクルがゼロ階勾配推定を返すオラクルベースの最適化アルゴリズムのクラスに対して、この問題を解決している。 特に、固定初期化に対しては、(射影)ゼロ階グラディエントDescent (ZO-GD) の実行が微分プライベートでないような、強い凸目的関数が存在することを示す。 さらに、ランダムな初期化や、中間的(初期および)反復を明らかにせずにも、ZO-GDのプライバシー損失は、凸目的関数を最小化する場合の反復数と重なり、超直線的に増大することを示した。

関連論文リスト

• Privacy Amplification in Differentially Private Zeroth-Order Optimization with Hidden States [23.033229440303355]
  我々は、ゼロ階最適化のために収束プライバシー境界を確立することができることを示す。 本分析は,スムーズな損失関数の設定に注目するプライバシアンプリフィケーション・バイ・イテレーション・フレームワークを一般化する。 この手法は、それまで文献に知られていなかったDPゼロオーダーのアルゴリズム設計を改良する。
  論文  参考訳（メタデータ） (2025-05-30T18:55:32Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives [10.528569272279999]
  本稿では,強い凸性を持つが非滑らかな問題に対する差分プライベートなフェデレーション学習アルゴリズムを提案する。 提案アルゴリズムは、共有情報に人工ノイズを加えてプライバシーを確保するとともに、時間変化のノイズ分散を動的に割り当て、最適化誤差の上限を最小化する。 解析結果から,提案手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-02T13:30:33Z)
• A gradient estimator via L1-randomization for online zero-order optimization with two point feedback [93.57603470949266]
  2つの関数評価とランダム化に基づく新しい勾配推定器を提案する。 ゼロ次オラクルの雑音に対する仮定は,ノイズのキャンセルと逆方向雑音の2種類について考察する。 我々は、問題の全てのパラメータに適応する、いつでも完全にデータ駆動のアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-05-27T11:23:57Z)
• An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm for First-order and Zeroth-order Optimization [111.24899593052851]
  条件勾配アルゴリズム(Frank-Wolfeアルゴリズムとも呼ばれる)は、最近、機械学習コミュニティで人気を取り戻している。 ARCSは、ゼロ階最適化において凸問題を解く最初のゼロ階条件勾配スライディング型アルゴリズムである。 1次最適化では、ARCSの収束結果は、勾配クエリのオラクルの数で、従来のアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-09-18T07:08:11Z)
• No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
  プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。 均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。 我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
  論文  参考訳（メタデータ） (2021-02-24T18:52:24Z)
• Zeroth-Order Algorithms for Smooth Saddle-Point Problems [117.44028458220427]
  ゼロオーダーのオラクルを用いてサドルポイント問題を解くアルゴリズムをいくつか提案する。 解析により、この項の収束率は、一階法よりも$log n$因子の方が悪いことが示されている。 また、混合構成を考慮し、その部分に対してゼロ階のオラクルを使用する1/2階法を開発する。
  論文  参考訳（メタデータ） (2020-09-21T14:26:48Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。