論文の概要: Privacy Amplification of Iterative Algorithms via Contraction
Coefficients
- arxiv url: http://arxiv.org/abs/2001.06546v1
- Date: Fri, 17 Jan 2020 22:06:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 12:40:17.905753
- Title: Privacy Amplification of Iterative Algorithms via Contraction
Coefficients
- Title(参考訳): 縮約係数による反復アルゴリズムのプライバシー増幅
- Authors: Shahab Asoodeh, Mario Diaz, and Flavio P. Calmon
- Abstract要約: 本稿では、情報理論レンズを用いて、Feldmanらによって最近提案された反復によるプライバシー増幅の枠組みについて検討する。
本稿では,データ処理の不等式を$f$-divergencesで求めることによって,データ処理の不等式から導かれる収縮係数の直接適用により,反復写像の差分プライバシー保証が決定できることを実証する。
- 参考スコア(独自算出の注目度): 3.5270468102327004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the framework of privacy amplification by iteration, recently
proposed by Feldman et al., from an information-theoretic lens. We demonstrate
that differential privacy guarantees of iterative mappings can be determined by
a direct application of contraction coefficients derived from strong data
processing inequalities for $f$-divergences. In particular, by generalizing the
Dobrushin's contraction coefficient for total variation distance to an
$f$-divergence known as $E_{\gamma}$-divergence, we derive tighter bounds on
the differential privacy parameters of the projected noisy stochastic gradient
descent algorithm with hidden intermediate updates.
- Abstract(参考訳): 本稿では,feldmanらによって最近提案された反復によるプライバシ増幅の枠組みについて,情報理論レンズを用いて検討する。
f$-divergences に対する強データ処理の不等式から導かれる縮約係数の直接適用により、反復写像の微分プライバシー保証が決定できることを実証する。
特に、全変動距離に対するドブルシンの縮退係数を$E_{\gamma}$-divergenceとして知られる$f$-divergenceに一般化することにより、隠れた中間更新を伴う予測された雑音確率勾配アルゴリズムの差分プライバシーパラメータの厳密な境界を導出する。
関連論文リスト
- Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。
これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文 参考訳(メタデータ) (2024-04-16T20:01:10Z) - Dynamic Privacy Allocation for Locally Differentially Private Federated
Learning with Composite Objectives [10.528569272279999]
本稿では,強い凸性を持つが非滑らかな問題に対する差分プライベートなフェデレーション学習アルゴリズムを提案する。
提案アルゴリズムは、共有情報に人工ノイズを加えてプライバシーを確保するとともに、時間変化のノイズ分散を動的に割り当て、最適化誤差の上限を最小化する。
解析結果から,提案手法が最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-02T13:30:33Z) - Theoretically Principled Federated Learning for Balancing Privacy and
Utility [61.03993520243198]
モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。
フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
論文 参考訳(メタデータ) (2023-05-24T13:44:02Z) - Differentially Private Stochastic Gradient Descent with Low-Noise [49.981789906200035]
現代の機械学習アルゴリズムは、データからきめ細かい情報を抽出して正確な予測を提供することを目的としており、プライバシー保護の目標と矛盾することが多い。
本稿では、プライバシを保ちながら優れたパフォーマンスを確保するために、プライバシを保存する機械学習アルゴリズムを開発することの実践的および理論的重要性について論じる。
論文 参考訳(メタデータ) (2022-09-09T08:54:13Z) - No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。
均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。
我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
論文 参考訳(メタデータ) (2021-02-24T18:52:24Z) - On the Differentially Private Nature of Perturbed Gradient Descent [15.554148012395457]
勾配降下アルゴリズムを用いて,データベースを与えられた経験的最小化の問題を考える。
勾配降下アルゴリズムは典型的には差分サドル点から逃れるために用いられる。
論文 参考訳(メタデータ) (2021-01-18T02:29:37Z) - Hiding Among the Clones: A Simple and Nearly Optimal Analysis of Privacy
Amplification by Shuffling [49.43288037509783]
ランダムシャッフルは、局所的ランダム化データの差分プライバシー保証を増幅する。
私たちの結果は、以前の作業よりも単純で、ほぼ同じ保証で差分プライバシーに拡張された新しいアプローチに基づいています。
論文 参考訳(メタデータ) (2020-12-23T17:07:26Z) - Privacy Analysis of Online Learning Algorithms via Contraction
Coefficients [5.333582981327498]
差分プライバシー保証は、$f$-divergencesの強いデータ処理の不等式から導かれる収縮係数の直接適用によって決定できることを示す。
また、このフレームワークは、トレーニングデータセットをワンパスで実装できるバッチ学習アルゴリズムに調整可能であることも示しています。
論文 参考訳(メタデータ) (2020-12-20T22:02:15Z) - RDP-GAN: A R\'enyi-Differential Privacy based Generative Adversarial
Network [75.81653258081435]
GAN(Generative Adversarial Network)は,プライバシ保護の高い現実的なサンプルを生成する能力によって,近年注目を集めている。
しかし、医療記録や財務記録などの機密・私的な訓練例にGANを適用すると、個人の機密・私的な情報を漏らしかねない。
本稿では、学習中の損失関数の値にランダムノイズを慎重に付加することにより、GAN内の差分プライバシー(DP)を実現するR'enyi-differentially private-GAN(RDP-GAN)を提案する。
論文 参考訳(メタデータ) (2020-07-04T09:51:02Z) - Private Stochastic Non-Convex Optimization: Adaptive Algorithms and
Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。
標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文 参考訳(メタデータ) (2020-06-24T06:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。