論文の概要: Differential Privacy of Gradient Descent on Perturbed Objectives

• arxiv url: http://arxiv.org/abs/2610.02716v1
• Date: Fri, 02 Oct 2026 02:52:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.172909
• Title: Differential Privacy of Gradient Descent on Perturbed Objectives
• Title（参考訳）: 摂動対象物におけるグラディエントDescentの差分プライバシー
• Abstract要約: 我々は、$wmapsto F(w;S)+langle z,wrangle$上で、決定論的勾配勾配の繰り返しを$N$-thで解放することによって得られる有限計算について検討する。 リプシッツ・ヘシアンとの強い凸かつ滑らかな目的のために、写像 $zmapsto w_N$ がプライバシー引数で使われる有界領域上の$C1$-微分同相写像であるという明示的な条件を証明する。
• 参考スコア（独自算出の注目度）: 29.980999010899733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objective perturbation adds a random linear term to a regularized empirical risk and releases the exact perturbed minimizer. We study the finite computation obtained by releasing the $N$-th iterate of deterministic gradient descent on $w\mapsto F(w;S)+\langle z,w\rangle$, where $z\sim\mathcal N(0,σ^2I_d)$ is drawn once before optimization. For strongly convex and smooth objectives with Lipschitz Hessian, we prove an explicit condition under which the map $z\mapsto w_N$ is a $C^1$-diffeomorphism on the bounded domains used in the privacy argument, with a quantitative lower bound on the smallest singular value of its Jacobian. This permits a direct change-of-variables analysis of the finite iterate. For generalized linear models, the resulting privacy-profile bound has no explicit ambient-dimension factor once the iteration condition holds, and its finite-iteration correction decreases geometrically. By letting the free truncation parameter grow slowly with $N$, we recover the corresponding exact-minimizer certificate in the limit. We also bound the expected excess empirical risk by $dσ^2/(2μ)$ plus a geometrically decreasing optimization term, and transfer the result to population risk without an additional multiplicative condition-number factor in the leading statistical terms.
• Abstract（参考訳）: 客観摂動は、正規化された経験的リスクにランダムな線形項を加え、正確な摂動最小化を解放する。 我々は、$w\mapsto F(w;S)+\langle z,w\rangle$, ここで、$z\sim\mathcal N(0,σ^2I_d)$は、最適化の前に一度描画される。 リプシッツ・ヘッセンの強い凸かつ滑らかな目的に対して、写像 $z\mapsto w_N$ がプライバシー引数で使われる有界領域上の$C^1$-微分同相であり、ヤコビアンの最小特異値に定量的な下界を持つという明示的な条件を証明する。 これにより、有限イテレートの変数の直接変換が可能である。 一般化された線形モデルの場合、結果として生じるプライバシーに目立った境界は、反復条件が成立すると明示的な環境次元因子を持たず、その有限点補正は幾何学的に減少する。 自由トランケーションパラメータを$N$でゆっくりと成長させることで、対応する完全最小化証明書をリカバリする。 また, 予測過剰な経験的リスクを$dσ^2/(2μ)$と幾何的に減少する最適化項に縛り付け, 先行統計項の乗算条件数因子を伴わずに集団リスクに置き換えた。

関連論文リスト

• Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds [1.6582968942719265]
  一様雑音-モーメンタリティ境界は、距離によって変動が増加する勾配を除外する。 直接降下すると、スムーズな転位引数が3エプシロン6$を回復する。 局所化半径は、非レート仮定、クリッピング正規化、運動量、バッチサイズの増加といった境界から導かれる。
  論文  参考訳（メタデータ） (2026-09-24T19:37:07Z)
• Optimal Dimension-Free Sampling for Regularized Classification [56.72526267755301]
  我々は、リプシッツ連続分類損失関数の幅広いクラスに対して、$(1pmvarepsilon)$-relativeエラーを達成する最適サンプリング境界を証明した。 これにはロジスティックやシグモイドの損失、ヒンジの損失、ReLUの損失といった重要な機能が含まれており、顕著で一般的な例である。
  論文  参考訳（メタデータ） (2026-05-22T15:05:33Z)
• Stochastic global optimization of continuous functions via random walks on Grassmannians [19.659410865201384]
  グラスマン多様体上のランダムウォークに基づく大域的最適化手法を提案する。 この方法は、ランダムな$k$次元の線形部分空間を繰り返しサンプリングする。 我々は、反復が世界最小値に近づく速度を制御するギャップパラメータを同定する。
  論文  参考訳（メタデータ） (2026-05-13T22:06:50Z)
• Local LMO: Constrained Gradient Optimization via a Local Linear Minimization Oracle [51.714334316332476]
  Local Lは制約付き最適化のための新しいプロジェクションフリー型である。 局所LMOはGD(Gradient Descent)のオラクルと見なされる。
  論文  参考訳（メタデータ） (2026-05-09T10:03:24Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Near-Optimal differentially private low-rank trace regression with guaranteed private initialization [0.0]
  RRd_1times d$におけるランク-r$行列$Mの差分プライベート(DP)推定をトレース回帰モデルの下で検討する。 我々はまた、リーマン最適化(DP-RGrad)に基づいて$M$を推定する微分プライベートアルゴリズムを提案する。 DP-RGradで与えられる推定器は、微分プライバシーというより弱い概念において最適収束率に達することが示されている。
  論文  参考訳（メタデータ） (2024-03-24T03:57:21Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Revisiting Subgradient Method: Complexity and Convergence Beyond Lipschitz Continuity [24.45688490844496]
  次進法は非滑らかな最適化のための最も基本的なアルゴリズムスキームの1つである。 本研究では、まず、非Lipschitz凸と弱凸最小化をカバーするために、下次法の典型的な反復複雑性結果を拡張する。
  論文  参考訳（メタデータ） (2023-05-23T15:26:36Z)
• Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
  標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。 マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
  論文  参考訳（メタデータ） (2021-12-23T18:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。