論文の概要: Finding Differentially Private Second Order Stationary Points in Stochastic Minimax Optimization

• arxiv url: http://arxiv.org/abs/2602.01339v1
• Date: Sun, 01 Feb 2026 17:06:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.723002
• Title: Finding Differentially Private Second Order Stationary Points in Stochastic Minimax Optimization
• Title（参考訳）: 確率最小値最適化における微分プライベート2次定常点の探索
• Authors: Difei Xu, Youming Tao, Meng Ding, Chenglin Fan, Di Wang,
• Abstract要約: 我々は、微分プライベート(DP)二階定常点(SOSP)のイニロン(non-d)ミニマックス問題を見つけるための第一問題を提案する。 ネストした降下確率型スキームとSP型分散還元とガウス摂動を組み合わせ、プライバシーを確保する一階法を提案する。
• 参考スコア（独自算出の注目度）: 10.291697009273124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We provide the first study of the problem of finding differentially private (DP) second-order stationary points (SOSP) in stochastic (non-convex) minimax optimization. Existing literature either focuses only on first-order stationary points for minimax problems or on SOSP for classical stochastic minimization problems. This work provides, for the first time, a unified and detailed treatment of both empirical and population risks. Specifically, we propose a purely first-order method that combines a nested gradient descent--ascent scheme with SPIDER-style variance reduction and Gaussian perturbations to ensure privacy. A key technical device is a block-wise ($q$-period) analysis that controls the accumulation of stochastic variance and privacy noise without summing over the full iteration horizon, yielding a unified treatment of both empirical-risk and population formulations. Under standard smoothness, Hessian-Lipschitzness, and strong concavity assumptions, we establish high-probability guarantees for reaching an $(α,\sqrt{ρ_Φα})$-approximate second-order stationary point with $α= \mathcal{O}( (\frac{\sqrt{d}}{n\varepsilon})^{2/3})$ for empirical risk objectives and $\mathcal{O}(\frac{1}{n^{1/3}} + (\frac{\sqrt{d}}{n\varepsilon})^{1/2})$ for population objectives, matching the best known rates for private first-order stationarity.
• Abstract（参考訳）: 確率的(非凸的)なミニマックス最適化において、微分プライベート(DP)二階定常点(SOSP)を求める問題の最初の研究について述べる。 既存の文献は、ミニマックス問題に対する一階定常点のみに焦点を当てるか、古典的確率最小化問題に対するSOSPに焦点を当てている。 この研究は、初めて、経験的リスクと人口的リスクの両方を統一し、より詳細な扱いを提供する。 具体的には、ネスト勾配降下法とSPIDER方式の分散化とガウス摂動を組み合わせ、プライバシーを確保するための純粋な一階法を提案する。 重要な技術的デバイスはブロックワイズ(q$- period)分析であり、全イテレーションの地平線を要約することなく確率的分散とプライバシノイズの蓄積を制御し、経験リスクと人口の定式化の両方を統一的に扱う。 標準的な滑らかさ、ヘッセン・リプシッツ性、強い凸性仮定の下で、$(α,\sqrt{ρ_\α})$-approximate 2次定常点に$α= \mathcal{O}( (\frac {\sqrt{d}}{n\varepsilon})^{2/3})$を経験的リスク目標と$\mathcal{O}(\frac{1}{n^{1/3}} + (\frac {\sqrt{d}}{n\varepsilon})^{1/2})$を到達するための高い確率保証を確立する。

関連論文リスト

• Variance-reduced first-order methods for deterministically constrained stochastic nonconvex optimization with strong convergence guarantees [2.5871382203332907]
  既存の方法は典型的には$epsilon$-stochasticの固定点を見つけることを目的としている。 多くの実践的応用において、制約がほぼ確実に満たされることが重要であり、そのような$epsilon$-stochasticの定常点が望ましくない可能性がある。
  論文  参考訳（メタデータ） (2024-09-16T00:26:42Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
  標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。 マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
  論文  参考訳（メタデータ） (2021-12-23T18:47:50Z)
• Non-Euclidean Differentially Private Stochastic Convex Optimization [15.302167005107135]
  雑音勾配降下法(SGD)アルゴリズムは低次元状態において最適過大なリスクを達成できることを示す。 私たちの作品は、規則性、均一凸性、均一な平滑性の概念など、規範空間の幾何学から概念を導き出します。
  論文  参考訳（メタデータ） (2021-03-01T19:48:44Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm for Bilevel Optimization [112.59170319105971]
  問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。 MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
  論文  参考訳（メタデータ） (2021-02-15T07:10:33Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。