論文の概要: Combining Variational Modeling with Partial Gradient Perturbation to
Prevent Deep Gradient Leakage
- arxiv url: http://arxiv.org/abs/2208.04767v1
- Date: Tue, 9 Aug 2022 13:23:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-10 12:21:09.110538
- Title: Combining Variational Modeling with Partial Gradient Perturbation to
Prevent Deep Gradient Leakage
- Title（参考訳）: 深勾配漏洩防止のための変分モデルと部分勾配摂動の併用
- Authors: Daniel Scheliga and Patrick M\"ader and Marco Seeland
- Abstract要約: 勾配反転攻撃は、ニューラルネットワークの協調学習において、ユビキタスな脅威である。
最近の研究は、任意のモデルアーキテクチャの拡張としてPPPalモデリングに基づくPRECODE(PRivacy EnhanCing mODulE)を提案する。
本研究では,PreCODEが勾配反転攻撃に与える影響について検討し,その基礎となる動作原理を明らかにする。
モデル性能を損なうことなく、効果的にプライバシを保護するために、我々のアプローチは勾配の摂動を少なくすることを示した。
- 参考スコア（独自算出の注目度）: 0.6021787236982659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exploiting gradient leakage to reconstruct supposedly private training data,
gradient inversion attacks are an ubiquitous threat in collaborative learning
of neural networks. To prevent gradient leakage without suffering from severe
loss in model performance, recent work proposed a PRivacy EnhanCing mODulE
(PRECODE) based on variational modeling as extension for arbitrary model
architectures. In this work, we investigate the effect of PRECODE on gradient
inversion attacks to reveal its underlying working principle. We show that
variational modeling induces stochasticity on PRECODE's and its subsequent
layers' gradients that prevents gradient attacks from convergence. By
purposefully omitting those stochastic gradients during attack optimization, we
formulate an attack that can disable PRECODE's privacy preserving effects. To
ensure privacy preservation against such targeted attacks, we propose PRECODE
with Partial Perturbation (PPP), as strategic combination of variational
modeling and partial gradient perturbation. We conduct an extensive empirical
study on four seminal model architectures and two image classification
datasets. We find all architectures to be prone to gradient leakage, which can
be prevented by PPP. In result, we show that our approach requires less
gradient perturbation to effectively preserve privacy without harming model
performance.
- Abstract（参考訳）: プライベートトレーニングデータを再構築するために勾配リークを爆発させると、勾配反転攻撃はニューラルネットワークの協調学習においてユビキタスな脅威となる。
モデル性能の低下に苦しむことなく勾配リークを防止するため, 任意のモデルアーキテクチャの拡張として, 変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を提案する。
本研究では,PreCODEが勾配反転攻撃に与える影響について検討し,その基礎となる動作原理を明らかにする。
変動モデリングはPreCODEとそれに続く階層の勾配に対して確率性を誘導し、勾配攻撃の収束を防ぐことを示す。
攻撃最適化中の確率勾配を意図的に省略することにより、PreCODEのプライバシー保護効果を無効にできる攻撃を定式化する。
このような攻撃に対するプライバシー保護を確保するため、変動モデリングと偏勾配摂動の戦略的組み合わせとして、部分摂動(PPP)を用いたPreCODEを提案する。
4つのセミナルモデルアーキテクチャと2つの画像分類データセットに関する広範な実証的研究を行う。
すべてのアーキテクチャは勾配リークの傾向があり,PPPによって防止できる。
その結果,モデル性能を損なうことなくプライバシを効果的に保持するためには,勾配摂動の低減が求められていることがわかった。
関連論文リスト
- Evaluating the Robustness of the "Ensemble Everything Everywhere" Defense [90.7494670101357]
あらゆるものをアンサンブルすることは、敵の例に対する防御である。
この防御は敵の攻撃に対して堅牢ではないことを示す。
次に、標準的なアダプティブアタック技術を用いて、防御の堅牢な精度を低下させる。
論文 参考訳（メタデータ） (2024-11-22T10:17:32Z) - Privacy-preserving Universal Adversarial Defense for Black-box Models [20.968518031455503]
本稿では,対象モデルのパラメータやアーキテクチャへのアクセスを必要としない,汎用的なブラックボックス防御手法であるDUCDを紹介する。
このアプローチでは、データをクエリすることでターゲットモデルをクエリし、データのプライバシを保持しながら、ホワイトボックスサロゲートを生成します。
複数の画像分類データセットの実験では、DUCDは既存のブラックボックスディフェンスよりも優れており、ホワイトボックスディフェンスの精度と一致している。
論文 参考訳（メタデータ） (2024-08-20T08:40:39Z) - BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive
Learning [85.2564206440109]
本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。
バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
論文 参考訳（メタデータ） (2023-11-20T02:21:49Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳（メタデータ） (2022-10-23T22:24:03Z) - Learning to Invert: Simple Adaptive Attacks for Gradient Inversion in
Federated Learning [31.374376311614675]
グラディエント・インバージョン・アタックは、フェデレート学習におけるモデル勾配からのトレーニングサンプルの回復を可能にする。
既存の防御は、単純な適応攻撃によって破壊される可能性があることを示す。
論文 参考訳（メタデータ） (2022-10-19T20:41:30Z) - Defense Against Gradient Leakage Attacks via Learning to Obscure Data [48.67836599050032]
フェデレートラーニングは、効果的なプライバシー保護学習メカニズムと考えられている。
本稿では,不明瞭なデータに学習することで,クライアントのデータ保護のための新しい防御手法を提案する。
論文 参考訳（メタデータ） (2022-06-01T21:03:28Z) - One Parameter Defense -- Defending against Data Inference Attacks via
Differential Privacy [26.000487178636927]
機械学習モデルは、メンバシップ推論やモデル反転攻撃のようなデータ推論攻撃に弱い。
既存の防衛方法は、メンバーシップ推論攻撃からのみ保護する。
両攻撃を時間効率で処理する差分プライベートディフェンス法を提案する。
論文 参考訳（メタデータ） (2022-03-13T06:06:24Z) - Defending against Reconstruction Attacks with R\'enyi Differential
Privacy [72.1188520352079]
レコンストラクション攻撃により、敵は訓練されたモデルのみにアクセスすることで、トレーニングセットのデータサンプルを再生することができる。
差別化プライバシはこのような攻撃に対する既知の解決策であるが、比較的大きなプライバシ予算で使用されることが多い。
また、同機構により、従来の文献よりも優れた復元攻撃に対するプライバシー保証を導出できることを示す。
論文 参考訳（メタデータ） (2022-02-15T18:09:30Z) - Evaluating Gradient Inversion Attacks and Defenses in Federated Learning [43.993693910541275]
本稿では,既存の攻撃と,勾配反転攻撃に対する防御について検討する。
提案する3つの防御機構のプライバシー漏洩とデータユーティリティのトレードオフを示す。
我々の研究結果は、現在最先端の攻撃は、小さなデータユーティリティー損失で防御可能であることを示唆している。
論文 参考訳（メタデータ） (2021-11-30T19:34:16Z) - DP-InstaHide: Provably Defusing Poisoning and Backdoor Attacks with
Differentially Private Data Augmentations [54.960853673256]
混合や無作為な付加ノイズなどの強いデータ拡張は、わずかな精度のトレードオフに耐えながら、毒の攻撃を無効にする。
DP-InstaHideの厳密な分析によると、ミキサップは確かにプライバシー上の利点があり、kウェイミキサップによるトレーニングは、単純DPメカニズムよりも少なくともk倍強いDP保証が得られる。
論文 参考訳（メタデータ） (2021-03-02T23:07:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。