論文の概要: Combining Variational Modeling with Partial Gradient Perturbation to
Prevent Deep Gradient Leakage
- arxiv url: http://arxiv.org/abs/2208.04767v1
- Date: Tue, 9 Aug 2022 13:23:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-10 12:21:09.110538
- Title: Combining Variational Modeling with Partial Gradient Perturbation to
Prevent Deep Gradient Leakage
- Title（参考訳）: 深勾配漏洩防止のための変分モデルと部分勾配摂動の併用
- Authors: Daniel Scheliga and Patrick M\"ader and Marco Seeland
- Abstract要約: 勾配反転攻撃は、ニューラルネットワークの協調学習において、ユビキタスな脅威である。
最近の研究は、任意のモデルアーキテクチャの拡張としてPPPalモデリングに基づくPRECODE(PRivacy EnhanCing mODulE)を提案する。
本研究では,PreCODEが勾配反転攻撃に与える影響について検討し,その基礎となる動作原理を明らかにする。
モデル性能を損なうことなく、効果的にプライバシを保護するために、我々のアプローチは勾配の摂動を少なくすることを示した。
- 参考スコア（独自算出の注目度）: 0.6021787236982659
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exploiting gradient leakage to reconstruct supposedly private training data,
gradient inversion attacks are an ubiquitous threat in collaborative learning
of neural networks. To prevent gradient leakage without suffering from severe
loss in model performance, recent work proposed a PRivacy EnhanCing mODulE
(PRECODE) based on variational modeling as extension for arbitrary model
architectures. In this work, we investigate the effect of PRECODE on gradient
inversion attacks to reveal its underlying working principle. We show that
variational modeling induces stochasticity on PRECODE's and its subsequent
layers' gradients that prevents gradient attacks from convergence. By
purposefully omitting those stochastic gradients during attack optimization, we
formulate an attack that can disable PRECODE's privacy preserving effects. To
ensure privacy preservation against such targeted attacks, we propose PRECODE
with Partial Perturbation (PPP), as strategic combination of variational
modeling and partial gradient perturbation. We conduct an extensive empirical
study on four seminal model architectures and two image classification
datasets. We find all architectures to be prone to gradient leakage, which can
be prevented by PPP. In result, we show that our approach requires less
gradient perturbation to effectively preserve privacy without harming model
performance.
- Abstract（参考訳）: プライベートトレーニングデータを再構築するために勾配リークを爆発させると、勾配反転攻撃はニューラルネットワークの協調学習においてユビキタスな脅威となる。
モデル性能の低下に苦しむことなく勾配リークを防止するため, 任意のモデルアーキテクチャの拡張として, 変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を提案する。
本研究では,PreCODEが勾配反転攻撃に与える影響について検討し,その基礎となる動作原理を明らかにする。
変動モデリングはPreCODEとそれに続く階層の勾配に対して確率性を誘導し、勾配攻撃の収束を防ぐことを示す。
攻撃最適化中の確率勾配を意図的に省略することにより、PreCODEのプライバシー保護効果を無効にできる攻撃を定式化する。
このような攻撃に対するプライバシー保護を確保するため、変動モデリングと偏勾配摂動の戦略的組み合わせとして、部分摂動(PPP)を用いたPreCODEを提案する。
4つのセミナルモデルアーキテクチャと2つの画像分類データセットに関する広範な実証的研究を行う。
すべてのアーキテクチャは勾配リークの傾向があり,PPPによって防止できる。
その結果,モデル性能を損なうことなくプライバシを効果的に保持するためには,勾配摂動の低減が求められていることがわかった。
関連論文リスト
- Gradient Diffusion: A Perturbation-Resilient Gradient Leakage Attack [13.764770382623812]
勾配保護は、フェデレートラーニング(FL)トレーニングプロセスにとって重要な問題である。
摂動抵抗性勾配漏洩攻撃(PGLA)を提案する。
我々の知見は、拡散逆過程における摂動の乱れレベルを捉えることで、勾配除雪能力が解放されるということである。
論文 参考訳（メタデータ） (2024-07-07T07:06:49Z) - A Theoretical Insight into Attack and Defense of Gradient Leakage in
Transformer [11.770915202449517]
グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。
本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
論文 参考訳（メタデータ） (2023-11-22T09:58:01Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳（メタデータ） (2023-10-30T18:43:21Z) - Privacy Preserving Federated Learning with Convolutional Variational
Bottlenecks [2.1301560294088318]
近年,変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を導入して,モデルユーティリティを損なうことなく勾配漏れを防止する手法が提案されている。
ニューラルネットワークにおけるPreCODEとそれに続く階層の勾配に変動モデルが導入されたことを示す。
攻撃最適化時の勾配勾配を意図的に省略することにより、PreCODEのプライバシー保護効果を無効にする攻撃を定式化する。
論文 参考訳（メタデータ） (2023-09-08T16:23:25Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Securing Distributed SGD against Gradient Leakage Threats [13.979995939926154]
本稿では, 勾配漏れ弾性分布勾配Descent (SGD) に対する総合的アプローチを提案する。
プライバシー強化型フェデレーション学習の2つの方法として, (i) ランダム選択や低ランクフィルタリングによるグラデーションプルーニング, (ii) 付加的ランダムノイズや差分プライバシーノイズによる勾配摂動について分析した。
本稿では,分散SGDをフェデレート学習において確保するための勾配リーク耐性手法を提案する。
論文 参考訳（メタデータ） (2023-05-10T21:39:27Z) - Adaptive Perturbation for Adversarial Attack [50.77612889697216]
そこで本研究では,新たな逆例に対する勾配に基づく攻撃手法を提案する。
逆方向の摂動を発生させるために,スケーリング係数を用いた正確な勾配方向を用いる。
本手法は, 高い伝達性を示し, 最先端の手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2021-11-27T07:57:41Z) - PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage [0.8029049649310213]
ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。
プライバシーを高めるために勾配摂動技術が提案されているが、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。
任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。
論文 参考訳（メタデータ） (2021-08-10T14:43:17Z) - Unleashing the Power of Contrastive Self-Supervised Visual Models via
Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。
本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文 参考訳（メタデータ） (2021-02-12T16:31:24Z) - Orthogonal Deep Models As Defense Against Black-Box Attacks [71.23669614195195]
攻撃者が標的モデルに類似したモデルを用いて攻撃を発生させるブラックボックス設定における深層モデル固有の弱点について検討する。
本稿では,深部モデルの内部表現を他のモデルに直交させる新しい勾配正規化手法を提案する。
様々な大規模モデルにおいて,本手法の有効性を検証する。
論文 参考訳（メタデータ） (2020-06-26T08:29:05Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。