論文の概要: Practical Privacy Filters and Odometers with R\'enyi Differential
Privacy and Applications to Differentially Private Deep Learning
- arxiv url: http://arxiv.org/abs/2103.01379v1
- Date: Tue, 2 Mar 2021 00:37:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 17:45:55.200644
- Title: Practical Privacy Filters and Odometers with R\'enyi Differential
Privacy and Applications to Differentially Private Deep Learning
- Title（参考訳）: R'enyi差分プライバシーを用いた実用的なプライバシーフィルタとオドメーターと差分プライベートディープラーニングへの応用
- Authors: Mathias L\'ecuyer
- Abstract要約: 我々はR'enyi Differential Privacyのレンズを通して、適応的なプライバシー予算の下でDP組成を研究します。
より単純な合成定理をより小さい定数で証明し、アルゴリズム設計に十分な実用性を与える。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differential Privacy (DP) is the leading approach to privacy preserving deep
learning. As such, there are multiple efforts to provide drop-in integration of
DP into popular frameworks. These efforts, which add noise to each gradient
computation to make it DP, rely on composition theorems to bound the total
privacy loss incurred over this sequence of DP computations.
However, existing composition theorems present a tension between efficiency
and flexibility. Most theorems require all computations in the sequence to have
a predefined DP parameter, called the privacy budget. This prevents the design
of training algorithms that adapt the privacy budget on the fly, or that
terminate early to reduce the total privacy loss. Alternatively, the few
existing composition results for adaptive privacy budgets provide complex
bounds on the privacy loss, with constants too large to be practical.
In this paper, we study DP composition under adaptive privacy budgets through
the lens of R\'enyi Differential Privacy, proving a simpler composition theorem
with smaller constants, making it practical enough to use in algorithm design.
We demonstrate two applications of this theorem for DP deep learning: adapting
the noise or batch size online to improve a model's accuracy within a fixed
total privacy loss, and stopping early when fine-tuning a model to reduce total
privacy loss.
- Abstract（参考訳）: 差分プライバシー(DP)は、ディープラーニングを保護するプライバシーに対する主要なアプローチです。
そのため、DPの一般的なフレームワークへのドロップイン統合を提供するための複数の取り組みがある。
DPを作るために各勾配計算にノイズを加えるこれらの努力は、DP計算のこのシーケンスで生じる総プライバシー損失を束縛するために組成定理に頼っている。
しかし、既存の組成定理は効率と柔軟性の間の緊張を示す。
ほとんどの定理では、シーケンス内のすべての計算はプライバシー予算と呼ばれる予め定義されたDPパラメータを持つ必要がある。
これにより、プライバシ予算を順応するトレーニングアルゴリズムの設計や、あるいはプライバシ損失の総削減のために早期に終了するアルゴリズムの設計が防止される。
あるいは、適応的なプライバシー予算のためのいくつかの既存の構成結果が、プライバシー損失の複雑な境界を提供し、定数が大きすぎて実用的ではない。
本稿では,R\'enyi Differential Privacy のレンズを用いて適応的プライバシー予算の下でDP合成を研究し,より小さな定数を持つより単純な合成定理を証明し,アルゴリズム設計に十分な実用性を持たせる。
DP深層学習のためのこの定理の2つの応用を実証する: ノイズまたはバッチサイズをオンラインで適応して、固定された総プライバシー損失内のモデルの精度を改善すること、そして全プライバシー損失を減らすためにモデルを微調整するときに早めに停止すること。
関連論文リスト
- Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。
DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。
本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
論文 参考訳（メタデータ） (2024-04-24T06:51:16Z) - Provable Privacy with Non-Private Pre-Processing [56.770023668379615]
非プライベートなデータ依存前処理アルゴリズムによって生じる追加のプライバシーコストを評価するための一般的なフレームワークを提案する。
当社のフレームワークは,2つの新しい技術的概念を活用することにより,全体的なプライバシー保証の上限を確立する。
論文 参考訳（メタデータ） (2024-03-19T17:54:49Z) - Shifted Interpolation for Differential Privacy [6.1836947007564085]
雑音勾配降下とその変種は、微分プライベート機械学習の主要なアルゴリズムである。
本稿では、$f$差分プライバシの統一化フレームワークにおいて、"corollary によるプライバシ増幅" 現象を確立する。
これは、強力な凸最適化の基礎的な設定において、最初の正確なプライバシー分析につながる。
論文 参考訳（メタデータ） (2024-03-01T04:50:04Z) - Algorithms with More Granular Differential Privacy Guarantees [65.3684804101664]
我々は、属性ごとのプライバシー保証を定量化できる部分微分プライバシー(DP)について検討する。
本研究では,複数の基本データ分析および学習タスクについて検討し,属性ごとのプライバシパラメータが個人全体のプライバシーパラメータよりも小さい設計アルゴリズムについて検討する。
論文 参考訳（メタデータ） (2022-09-08T22:43:50Z) - Fully Adaptive Composition in Differential Privacy [53.01656650117495]
よく知られた高度な合成定理は、基本的なプライバシー構成が許すよりも、プライベートデータベースを2倍にクエリすることができる。
アルゴリズムとプライバシパラメータの両方を適応的に選択できる完全適応型合成を導入する。
適応的に選択されたプライバシパラメータが許されているにもかかわらず、定数を含む高度なコンポジションのレートに適合するフィルタを構築します。
論文 参考訳（メタデータ） (2022-03-10T17:03:12Z) - Differentially Private Federated Bayesian Optimization with Distributed
Exploration [48.9049546219643]
我々は、DPを反復アルゴリズムに追加するための一般的なフレームワークを通じて、ディープニューラルネットワークのトレーニングに差分プライバシ(DP)を導入する。
DP-FTS-DEは高い実用性(競争性能)と高いプライバシー保証を実現する。
また,DP-FTS-DEがプライバシとユーティリティのトレードオフを引き起こすことを示すために,実世界の実験も行っている。
論文 参考訳（メタデータ） (2021-10-27T04:11:06Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - Optimal Accounting of Differential Privacy via Characteristic Function [25.78065563380023]
本稿では,プライバシ・プロフィール,プライバシ・プロファイル,$f$-DP,PLDフォーマリズムなどの最近の進歩を,ある最悪のケースのプライバシ・ロスランダム変数の特徴関数(phi$-function)を介して統一することを提案する。
我々のアプローチは、Renyi DPのような自然適応的な構成を可能にし、PDDのような厳密なプライバシ会計を提供し、プライバシープロファイルや$f$-DPに変換できることが示されています。
論文 参考訳（メタデータ） (2021-06-16T06:13:23Z) - Private Reinforcement Learning with PAC and Regret Guarantees [69.4202374491817]
エピソード強化学習(RL)のためのプライバシー保護探索ポリシーを設計する。
まず、共同微分プライバシー(JDP)の概念を用いた有意義なプライバシー定式化を提供する。
そこで我々は,強いPACと後悔境界を同時に達成し,JDP保証を享受する,プライベートな楽観主義に基づく学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-09-18T20:18:35Z) - Bounding, Concentrating, and Truncating: Unifying Privacy Loss
Composition for Data Analytics [2.614355818010333]
アナリストが純粋なDP、境界範囲(指数的なメカニズムなど)、集中的なDPメカニズムを任意の順序で選択できる場合、強いプライバシー損失バウンダリを提供する。
また、アナリストが純粋なDPと境界範囲のメカニズムをバッチで選択できる場合に適用される最適なプライバシー損失境界を提供する。
論文 参考訳（メタデータ） (2020-04-15T17:33:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。