論文の概要: Shifted Interpolation for Differential Privacy

• arxiv url: http://arxiv.org/abs/2403.00278v1
• Date: Fri, 1 Mar 2024 04:50:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 18:19:33.545325
• Title: Shifted Interpolation for Differential Privacy
• Title（参考訳）: 微分プライバシーのためのシフト補間
• Authors: Jinho Bok, Weijie Su, Jason M. Altschuler
• Abstract要約: 雑音勾配勾配とその変種は、微分プライベート機械学習の主要なアルゴリズムである。 本稿では、$f$差分プライバシーの統一フレームワークにおける「反復によるプライバシー増幅」現象を確立する。 これは、強力な凸最適化の基礎的な設定において、最初の正確なプライバシー分析につながる。
• 参考スコア（独自算出の注目度）: 6.949853145487147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Noisy gradient descent and its variants are the predominant algorithms for differentially private machine learning. It is a fundamental question to quantify their privacy leakage, yet tight characterizations remain open even in the foundational setting of convex losses. This paper improves over previous analyses by establishing (and refining) the "privacy amplification by iteration" phenomenon in the unifying framework of $f$-differential privacy--which tightly captures all aspects of the privacy loss and immediately implies tighter privacy accounting in other notions of differential privacy, e.g., $(\varepsilon,\delta)$-DP and Renyi DP. Our key technical insight is the construction of shifted interpolated processes that unravel the popular shifted-divergences argument, enabling generalizations beyond divergence-based relaxations of DP. Notably, this leads to the first exact privacy analysis in the foundational setting of strongly convex optimization. Our techniques extend to many settings: convex/strongly convex, constrained/unconstrained, full/cyclic/stochastic batches, and all combinations thereof. As an immediate corollary, we recover the $f$-DP characterization of the exponential mechanism for strongly convex optimization in Gopi et al. (2022), and moreover extend this result to more general settings.
• Abstract（参考訳）: 雑音勾配勾配とその変種は、微分プライベート機械学習の主要なアルゴリズムである。 プライバシー漏洩の定量化は基本的な問題だが、凸損失の基本的な設定においても、厳密な特徴が残っている。 本稿では,プライバシ損失のすべての側面を厳密に把握し,差分プライバシーの他の概念(例えば$(\varepsilon,\delta)$-DP,Renyi DPなど)において,より厳密なプライバシ会計を示唆する,$f$差分プライバシの統一フレームワークにおける"プライバシ・アンプリフィケーション・バイ・イテレーション(privacy amplification by iteration)"現象の確立(および改善)により,従来の分析よりも改善する。 我々の重要な技術的洞察は、人気のあるシフト分岐の議論を解き、DPの発散に基づく緩和以上の一般化を可能にする、シフト補間プロセスの構築である。 これは、強い凸最適化の基本的な設定において、最初の正確なプライバシー分析につながる。 当社の手法は,凸/強凸,拘束/非拘束,完全/周期/確率バッチ,およびそれらの組み合わせなど,多くの設定に拡張されている。 直近の系として、Gopi et al. (2022) における強い凸最適化のための指数的メカニズムの$f$-DP特性を回復し、さらにこの結果をより一般的な設定にまで拡張する。

関連論文リスト

• Provable Privacy with Non-Private Pre-Processing [56.770023668379615]
  非プライベートなデータ依存前処理アルゴリズムによって生じる追加のプライバシーコストを評価するための一般的なフレームワークを提案する。 当社のフレームワークは,2つの新しい技術的概念を活用することにより,全体的なプライバシー保証の上限を確立する。
  論文  参考訳（メタデータ） (2024-03-19T17:54:49Z)
• A Generalized Shuffle Framework for Privacy Amplification: Strengthening Privacy Guarantees and Enhancing Utility [4.7712438974100255]
  パーソナライズされたプライバシパラメータで$(epsilon_i,delta_i)$-PLDP設定をシャッフルする方法を示す。 shuffled $(epsilon_i,delta_i)$-PLDP process approximately saves $mu$-Gaussian Differential Privacy with mu = sqrtfrac2sum_i=1n frac1-delta_i1+eepsilon_i-max_ifrac1-delta_i1+e
  論文  参考訳（メタデータ） (2023-12-22T02:31:46Z)
• Initialization Matters: Privacy-Utility Analysis of Overparameterized Neural Networks [72.51255282371805]
  我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。 このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
  論文  参考訳（メタデータ） (2023-10-31T16:13:22Z)
• Unified Enhancement of Privacy Bounds for Mixture Mechanisms via $f$-Differential Privacy [41.51051636162107]
  本稿では、シャッフルモデルと1点差分勾配勾配のプライバシー境界の改善に焦点をあてる。 シャッフルモデルに対するトレードオフ関数のクローズドフォーム式を導出し、最新の結果よりも優れる。 また, ホッケースティックの進行した関節凸性の$f$-DPアナログを, $(epsilon,delta)$-DPに関連するホッケースティックのばらつきについて検討した。
  論文  参考訳（メタデータ） (2023-10-30T19:37:51Z)
• Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives [10.528569272279999]
  本稿では,強い凸性を持つが非滑らかな問題に対する差分プライベートなフェデレーション学習アルゴリズムを提案する。 提案アルゴリズムは、共有情報に人工ノイズを加えてプライバシーを確保するとともに、時間変化のノイズ分散を動的に割り当て、最適化誤差の上限を最小化する。 解析結果から,提案手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-02T13:30:33Z)
• Stronger Privacy Amplification by Shuffling for R\'enyi and Approximate Differential Privacy [43.33288245778629]
  このモデルにおける重要な結果は、ランダムにランダム化されたデータをランダムにシャッフルすると、差分プライバシー保証が増幅されることである。 このような増幅は、匿名でデータが提供されるシステムにおいて、はるかに強力なプライバシー保証を意味する。 本研究では,理論的にも数値的にも,アートプライバシの増幅状態を改善する。
  論文  参考訳（メタデータ） (2022-08-09T08:13:48Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Privacy of Noisy Stochastic Gradient Descent: More Iterations without More Privacy Loss [34.66940399825547]
  業界は単純なアルゴリズムを広く採用している:騒音を伴うグラディエントDescent(グラディエントLangevin Dynamics) このアルゴリズムのプライバシ損失に関する疑問は、バウンドドメイン上の滑らかな凸損失の一見単純な設定であっても、まだオープンである。 我々は、差分プライバシーを一定の要因まで特徴づけ、小さなバーンイン期間の後、SGDの実行がこれ以上のプライバシーを漏らさないことを示す。
  論文  参考訳（メタデータ） (2022-05-27T02:09:55Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Learning with User-Level Privacy [61.62978104304273]
  ユーザレベルの差分プライバシー制約下での学習課題を,アルゴリズムを用いて解析する。 個々のサンプルのプライバシーのみを保証するのではなく、ユーザレベルのdpはユーザの貢献全体を保護します。 プライバシコストが$tau$に比例した$K$適応的に選択されたクエリのシーケンスにプライベートに答えるアルゴリズムを導き出し、私たちが検討する学習タスクを解決するためにそれを適用します。
  論文  参考訳（メタデータ） (2021-02-23T18:25:13Z)
• Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy Amplification by Shuffling [49.43288037509783]
  ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。 私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
  論文  参考訳（メタデータ） (2020-12-23T17:07:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。