論文の概要: Privacy Preserving Federated Learning with Convolutional Variational Bottlenecks

• arxiv url: http://arxiv.org/abs/2309.04515v1
• Date: Fri, 8 Sep 2023 16:23:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 17:58:57.887052
• Title: Privacy Preserving Federated Learning with Convolutional Variational Bottlenecks
• Title（参考訳）: 畳み込み型ばらつきボトルネックを用いたプライバシー保護連合学習
• Authors: Daniel Scheliga, Patrick M\"ader, Marco Seeland
• Abstract要約: 近年,変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を導入して,モデルユーティリティを損なうことなく勾配漏れを防止する手法が提案されている。 ニューラルネットワークにおけるPreCODEとそれに続く階層の勾配に変動モデルが導入されたことを示す。 攻撃最適化時の勾配勾配を意図的に省略することにより、PreCODEのプライバシー保護効果を無効にする攻撃を定式化する。
• 参考スコア（独自算出の注目度）: 2.1301560294088318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient inversion attacks are an ubiquitous threat in federated learning as they exploit gradient leakage to reconstruct supposedly private training data. Recent work has proposed to prevent gradient leakage without loss of model utility by incorporating a PRivacy EnhanCing mODulE (PRECODE) based on variational modeling. Without further analysis, it was shown that PRECODE successfully protects against gradient inversion attacks. In this paper, we make multiple contributions. First, we investigate the effect of PRECODE on gradient inversion attacks to reveal its underlying working principle. We show that variational modeling introduces stochasticity into the gradients of PRECODE and the subsequent layers in a neural network. The stochastic gradients of these layers prevent iterative gradient inversion attacks from converging. Second, we formulate an attack that disables the privacy preserving effect of PRECODE by purposefully omitting stochastic gradients during attack optimization. To preserve the privacy preserving effect of PRECODE, our analysis reveals that variational modeling must be placed early in the network. However, early placement of PRECODE is typically not feasible due to reduced model utility and the exploding number of additional model parameters. Therefore, as a third contribution, we propose a novel privacy module -- the Convolutional Variational Bottleneck (CVB) -- that can be placed early in a neural network without suffering from these drawbacks. We conduct an extensive empirical study on three seminal model architectures and six image classification datasets. We find that all architectures are susceptible to gradient leakage attacks, which can be prevented by our proposed CVB. Compared to PRECODE, we show that our novel privacy module requires fewer trainable parameters, and thus computational and communication costs, to effectively preserve privacy.
• Abstract（参考訳）: 勾配反転攻撃(gradient inversion attack)は、勾配の漏洩を利用して、おそらくプライベートなトレーニングデータを再構築するため、連合学習におけるユビキタスな脅威である。 近年,変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を導入して,モデルユーティリティを損なうことなく勾配漏れを防止する手法が提案されている。 さらなる解析は行わず、PreCODEは勾配反転攻撃を防げることを示した。 本稿では,複数の貢献を行う。 まず, 勾配反転攻撃に対するプリコードの影響を調べ, その基礎となる動作原理を明らかにする。 変動モデリングは,ニューラルネットワークにおけるPreCODEとその後の階層の勾配に確率性をもたらすことを示す。 これらの層の確率勾配は、反復的な勾配反転攻撃が収束することを防ぐ。 次に,攻撃最適化中に確率的勾配を意図的に省略することにより,プリコードのプライバシー保護効果を無効にする攻撃を定式化する。 PreCODEのプライバシー保護効果を維持するため,ネットワークの早期に変動モデリングを行う必要があることを明らかにした。 しかしながら、PreCODEの初期配置は、モデルユーティリティの削減と追加モデルパラメータの爆発的な数のために、一般的には実現不可能である。 そこで,第3の貢献として,ニューラルネットワークにおいて,このような欠点に苦しむことなく早期に配置可能な,新たなプライバシモジュールである畳み込み型変分ボトルネック(cvb)を提案する。 3つのセレントモデルアーキテクチャと6つの画像分類データセットに関する広範な実証研究を行った。 提案したCVBでは,全てのアーキテクチャが勾配リーク攻撃の影響を受けやすいことが判明した。 プライバシを効果的に保護するために,プリコードと比較して,学習可能なパラメータの削減と計算コストと通信コストの削減が期待できる。

関連論文リスト

• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• DPSUR: Accelerating Differentially Private Stochastic Gradient Descent Using Selective Update and Release [29.765896801370612]
  本稿では,Selective Updates and Releaseに基づく差分プライベートトレーニングフレームワークを提案する。 主な課題は、プライバシに関する懸念と、モデル更新のための勾配選択戦略の2つの側面にある。 MNIST,FMNIST, CIFAR-10, IMDBデータセットを用いて行った実験により, DPSURは収束速度において従来よりも大幅に優れていたことがわかった。
  論文  参考訳（メタデータ） (2023-11-23T15:19:30Z)
• A Theoretical Insight into Attack and Defense of Gradient Leakage in Transformer [11.770915202449517]
  グラディエント(DLG)攻撃によるDeep Leakageは、交換勾配を検査してセンシティブなトレーニングデータを抽出する方法として、広く普及している。 本研究は, 変圧器モデルに特に適用した場合の勾配漏洩法を包括的に解析する。
  論文  参考訳（メタデータ） (2023-11-22T09:58:01Z)
• Understanding Deep Gradient Leakage via Inversion Influence Functions [53.1839233598743]
  Deep Gradient Leakage (DGL)は、勾配ベクトルからプライベートトレーニングイメージを復元する非常に効果的な攻撃である。 得られた画像とプライベート勾配との間の閉形式接続を確立する新しいインバージョンインフルエンス関数(I$2$F)を提案する。 I$2$Fは、一般的に異なるモデルアーキテクチャ、データセット、アタック実装、摂動に基づく防御に基づいてDGLを効果的に近似したことを実証的に実証した。
  論文  参考訳（メタデータ） (2023-09-22T17:26:24Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Dropout is NOT All You Need to Prevent Gradient Leakage [0.6021787236982659]
  反復的勾配反転攻撃に対するドロップアウトの影響を解析する。 本稿では,クライアントデータとドロップアウトマスクを協調的に最適化する新しいインバージョンアタック(DIA)を提案する。 提案した攻撃は, 投棄によって引き起こされると思われる保護を回避し, 高い忠実度でクライアントデータを再構築する。
  論文  参考訳（メタデータ） (2022-08-12T08:29:44Z)
• Combining Variational Modeling with Partial Gradient Perturbation to Prevent Deep Gradient Leakage [0.6021787236982659]
  勾配反転攻撃は、ニューラルネットワークの協調学習において、ユビキタスな脅威である。 最近の研究は、任意のモデルアーキテクチャの拡張としてPPPalモデリングに基づくPRECODE(PRivacy EnhanCing mODulE)を提案する。 本研究では,PreCODEが勾配反転攻撃に与える影響について検討し,その基礎となる動作原理を明らかにする。 モデル性能を損なうことなく、効果的にプライバシを保護するために、我々のアプローチは勾配の摂動を少なくすることを示した。
  論文  参考訳（メタデータ） (2022-08-09T13:23:29Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage [0.8029049649310213]
  ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。 プライバシーを高めるために勾配摂動技術が提案されているが、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。 任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。
  論文  参考訳（メタデータ） (2021-08-10T14:43:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。