論文の概要: Are We There Yet? Timing and Floating-Point Attacks on Differential Privacy Systems
- arxiv url: http://arxiv.org/abs/2112.05307v4
- Date: Wed, 11 Sep 2024 08:56:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 22:35:44.021635
- Title: Are We There Yet? Timing and Floating-Point Attacks on Differential Privacy Systems
- Title（参考訳）: まだ存在するのか? 差別的プライバシシステムに対するタイミングと浮動小数点攻撃
- Authors: Jiankai Jin, Eleanor McMurtry, Benjamin I. P. Rubinstein, Olga Ohrimenko,
- Abstract要約: 微分プライベート(DP)システムでよく用いられる雑音発生における2つの実装欠陥について検討する。
まず,浮動小数点表現攻撃に対するガウス機構の感受性について検討する。
第二に、別のチャネルに苦しむラプラスとガウスのメカニズムを個別に研究する。
- 参考スコア（独自算出の注目度）: 18.396937775602808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differential privacy is a de facto privacy framework that has seen adoption in practice via a number of mature software platforms. Implementation of differentially private (DP) mechanisms has to be done carefully to ensure end-to-end security guarantees. In this paper we study two implementation flaws in the noise generation commonly used in DP systems. First we examine the Gaussian mechanism's susceptibility to a floating-point representation attack. The premise of this first vulnerability is similar to the one carried out by Mironov in 2011 against the Laplace mechanism. Our experiments show attack's success against DP algorithms, including deep learning models trained using differentially-private stochastic gradient descent. In the second part of the paper we study discrete counterparts of the Laplace and Gaussian mechanisms that were previously proposed to alleviate the shortcomings of floating-point representation of real numbers. We show that such implementations unfortunately suffer from another side channel: a novel timing attack. An observer that can measure the time to draw (discrete) Laplace or Gaussian noise can predict the noise magnitude, which can then be used to recover sensitive attributes. This attack invalidates differential privacy guarantees of systems implementing such mechanisms. We demonstrate that several commonly used, state-of-the-art implementations of differential privacy are susceptible to these attacks. We report success rates up to 92.56% for floating-point attacks on DP-SGD, and up to 99.65% for end-to-end timing attacks on private sum protected with discrete Laplace. Finally, we evaluate and suggest partial mitigations.
- Abstract（参考訳）: 差別化プライバシは事実上のプライバシフレームワークであり、多くの成熟したソフトウェアプラットフォームを通じて実際に採用されている。
エンドツーエンドのセキュリティ保証を保証するためには,DP機構の実装を慎重に行う必要がある。
本稿では,DPシステムで一般的なノイズ発生における2つの実装欠陥について検討する。
まず,浮動小数点表現攻撃に対するガウス機構の感受性について検討する。
この最初の脆弱性の前提は、2011年にMironovがLaplaceメカニズムに対して行ったものと似ている。
我々の実験はDPアルゴリズムに対する攻撃の成功を示し、その中には微分プライベートな確率勾配勾配を用いて訓練されたディープラーニングモデルも含まれている。
論文の後半では、実数の浮動小数点表現の欠点を軽減するために以前に提案されたラプラスとガウスのメカニズムの離散的な相違について研究する。
このような実装は残念ながら別のサイドチャネル、すなわち新しいタイミングアタックに悩まされている。
ラプラス (Laplace) やガウスノイズ (Gaussian noise) を描画(離散)する時間を計測できるオブザーバは、ノイズの大きさを予測することができる。
この攻撃は、そのような機構を実装するシステムの差分プライバシー保証を無効にする。
差分プライバシーの最先端実装が、これらの攻撃の影響を受けやすいことを実証する。
DP-SGDに対する浮動小数点攻撃で最大92.56%、離散ラプラスで保護されたプライベートサムに対するエンドツーエンドのタイミング攻撃で最大99.65%の成功率を報告した。
最後に,部分緩和の評価と提案を行った。
関連論文リスト
- Differentially Private Random Feature Model [52.468511541184895]
プライバシを保存するカーネルマシンに対して,差分的にプライベートな特徴モデルを作成する。
本手法は,プライバシを保護し,一般化誤差を導出する。
論文 参考訳（メタデータ） (2024-12-06T05:31:08Z) - To Shuffle or not to Shuffle: Auditing DP-SGD with Shuffling [25.669347036509134]
シャッフル法を用いてDP-SGDを解析した。
プライバシー保証を十分に過大評価(最大4倍)することで訓練された最先端のDPモデルを示す。
我々の研究は、DP-SGDの実際のプライバシー漏洩を、Poissonサブサンプリングのvis-a-visに代えてシャッフルを使用するリスクを実証的に証明している。
論文 参考訳（メタデータ） (2024-11-15T22:34:28Z) - Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。
DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。
本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
論文 参考訳（メタデータ） (2024-04-24T06:51:16Z) - How Private are DP-SGD Implementations? [61.19794019914523]
2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。
その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2024-03-26T13:02:43Z) - The Symmetric alpha-Stable Privacy Mechanism [0.0]
本稿では,Symmetric alpha-Stable (SaS) 機構の新しい解析法を提案する。
この機構は、畳み込みの下で閉じたまま、純粋に微分プライベートであることを示す。
論文 参考訳（メタデータ） (2023-11-29T16:34:39Z) - Additive Logistic Mechanism for Privacy-Preserving Self-Supervised
Learning [26.783944764936994]
ニューラルネットワークの重みを自己教師付き学習アルゴリズムでトレーニングする際のプライバシーリスクについて検討する。
我々は、微調整後の重み付けにノイズを加えるプライバシー保護アルゴリズムを設計する。
提案した保護アルゴリズムは,攻撃精度をランダムな推測にほぼ等しい50%に効果的に低減できることを示す。
論文 参考訳（メタデータ） (2022-05-25T01:33:52Z) - Sampling-Based Robust Control of Autonomous Systems with Non-Gaussian
Noise [59.47042225257565]
雑音分布の明示的な表現に依存しない新しい計画法を提案する。
まず、連続系を離散状態モデルに抽象化し、状態間の確率的遷移によってノイズを捕捉する。
いわゆる区間マルコフ決定過程(iMDP)の遷移確率区間におけるこれらの境界を捉える。
論文 参考訳（メタデータ） (2021-10-25T06:18:55Z) - Smoothed Differential Privacy [55.415581832037084]
微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。
本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。
サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
論文 参考訳（メタデータ） (2021-07-04T06:55:45Z) - Gaussian Processes with Differential Privacy [3.934224774675743]
我々は、差分プライバシー(DP)を介して、ガウス過程(GP)に強力なプライバシー保護を加える。
我々は、スパースGP手法を用いて、既知の誘導点に関するプライベートな変分近似を公開することによってこれを達成した。
我々の実験は、十分な量のデータがあれば、強力なプライバシー保護下で正確なモデルを生成することができることを示した。
論文 参考訳（メタデータ） (2021-06-01T13:23:16Z) - On the Practicality of Differential Privacy in Federated Learning by
Tuning Iteration Times [51.61278695776151]
フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。
最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。
ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
論文 参考訳（メタデータ） (2021-01-11T19:43:12Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。