論文の概要: PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage

• arxiv url: http://arxiv.org/abs/2108.04725v1
• Date: Tue, 10 Aug 2021 14:43:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-11 14:31:44.939439
• Title: PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage
• Title（参考訳）: PreCODE - 深層漏洩防止のためのジェネリックモデル拡張
• Authors: Daniel Scheliga and Patrick M\"ader and Marco Seeland
• Abstract要約: ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。 プライバシーを高めるために勾配摂動技術が提案されているが、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。 任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。
• 参考スコア（独自算出の注目度）: 0.8029049649310213
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collaborative training of neural networks leverages distributed data by exchanging gradient information between different clients. Although training data entirely resides with the clients, recent work shows that training data can be reconstructed from such exchanged gradient information. To enhance privacy, gradient perturbation techniques have been proposed. However, they come at the cost of reduced model performance, increased convergence time, or increased data demand. In this paper, we introduce PRECODE, a PRivacy EnhanCing mODulE that can be used as generic extension for arbitrary model architectures. We propose a simple yet effective realization of PRECODE using variational modeling. The stochastic sampling induced by variational modeling effectively prevents privacy leakage from gradients and in turn preserves privacy of data owners. We evaluate PRECODE using state of the art gradient inversion attacks on two different model architectures trained on three datasets. In contrast to commonly used defense mechanisms, we find that our proposed modification consistently reduces the attack success rate to 0% while having almost no negative impact on model training and final performance. As a result, PRECODE reveals a promising path towards privacy enhancing model extensions.
• Abstract（参考訳）: ニューラルネットワークの協調トレーニングは、異なるクライアント間で勾配情報を交換することで、分散データを活用する。 トレーニングデータは完全にクライアントに格納されているが、最近の研究は、そのような交換された勾配情報からトレーニングデータが再構築可能であることを示している。 プライバシーを高めるため、勾配摂動技術が提案されている。 しかし、モデル性能の低下、収束時間の増加、データ要求の増加といったコストが伴う。 本稿では,任意のモデルアーキテクチャの汎用拡張として使用できるPRivacy EnhanCing mODulEであるPrepreCODEを紹介する。 変動モデルを用いたPreCODEの簡易かつ効果的な実現法を提案する。 変分モデルによって引き起こされる確率的サンプリングは、勾配からのプライバシーリークを効果的に防止し、データ所有者のプライバシーを保ちます。 3つのデータセットでトレーニングされた2つの異なるモデルアーキテクチャに対するアート勾配反転攻撃の状態を用いてPreCODEを評価する。 一般的な防御機構とは対照的に,提案手法では攻撃成功率を0%に抑えつつ,モデルトレーニングや最終性能に悪影響を与えることはほとんどない。 その結果、PreCODEはプライバシー強化モデル拡張への有望な道を明らかにした。

関連論文リスト

• CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling [63.07948989346385]
  フェデレーション学習は、グローバルサーバ上でニューラルネットワークを協調的にトレーニングする。 各ローカルクライアントは、現在のグローバルモデルウェイトを受信し、そのローカルプライベートデータに基づいてパラメータ更新(グラディエント)を返送する。 既存の勾配反転攻撃は、クライアントの勾配ベクトルからプライベートトレーニングインスタンスを復元するためにこの脆弱性を利用することができる。 本稿では,大規模ニューラルネットワークモデルに適した新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T01:06:23Z)
• PATE-TripleGAN: Privacy-Preserving Image Synthesis with Gaussian Differential Privacy [4.586288671392977]
  PATE-TripleGANというプライバシ保護トレーニングフレームワークを提案する。 ラベル付きデータへの依存を減らすために、ラベル付きデータの事前分類を行う分類器が組み込まれている。 PATE-TripleGANは、トレーニングデータのプライバシを確保しながら、高品質なラベル付きイメージデータセットを生成することができる。
  論文  参考訳（メタデータ） (2024-04-19T09:22:20Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• DPSUR: Accelerating Differentially Private Stochastic Gradient Descent Using Selective Update and Release [29.765896801370612]
  本稿では,Selective Updates and Releaseに基づく差分プライベートトレーニングフレームワークを提案する。 主な課題は、プライバシに関する懸念と、モデル更新のための勾配選択戦略の2つの側面にある。 MNIST,FMNIST, CIFAR-10, IMDBデータセットを用いて行った実験により, DPSURは収束速度において従来よりも大幅に優れていたことがわかった。
  論文  参考訳（メタデータ） (2023-11-23T15:19:30Z)
• Sparsity-Preserving Differentially Private Training of Large Embedding Models [67.29926605156788]
  DP-SGDは、差分プライバシーと勾配降下を組み合わせたトレーニングアルゴリズムである。 DP-SGDをネーティブに埋め込みモデルに適用すると、勾配の間隔が破壊され、トレーニング効率が低下する。 我々は,大規模埋め込みモデルのプライベートトレーニングにおいて,勾配間隔を保ったDP-FESTとDP-AdaFESTの2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:59:51Z)
• Segue: Side-information Guided Generative Unlearnable Examples for Facial Privacy Protection in Real World [64.4289385463226]
  生成不可能な例としては、Segue: Side-information guided Generative unlearnable Exampleを提案する。 転送性を向上させるために,真のラベルや擬似ラベルなどの側面情報を導入する。 JPEG圧縮、敵対的トレーニング、およびいくつかの標準的なデータ拡張に抵抗することができる。
  論文  参考訳（メタデータ） (2023-10-24T06:22:37Z)
• Privacy Preserving Federated Learning with Convolutional Variational Bottlenecks [2.1301560294088318]
  近年,変分モデルに基づくPRECODE(PRivacy EnhanCing mODulE)を導入して,モデルユーティリティを損なうことなく勾配漏れを防止する手法が提案されている。 ニューラルネットワークにおけるPreCODEとそれに続く階層の勾配に変動モデルが導入されたことを示す。 攻撃最適化時の勾配勾配を意図的に省略することにより、PreCODEのプライバシー保護効果を無効にする攻撃を定式化する。
  論文  参考訳（メタデータ） (2023-09-08T16:23:25Z)
• Mixed Precision Quantization to Tackle Gradient Leakage Attacks in Federated Learning [1.7205106391379026]
  フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。 このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。 特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
  論文  参考訳（メタデータ） (2022-10-22T04:24:32Z)
• Dropout is NOT All You Need to Prevent Gradient Leakage [0.6021787236982659]
  反復的勾配反転攻撃に対するドロップアウトの影響を解析する。 本稿では,クライアントデータとドロップアウトマスクを協調的に最適化する新しいインバージョンアタック(DIA)を提案する。 提案した攻撃は, 投棄によって引き起こされると思われる保護を回避し, 高い忠実度でクライアントデータを再構築する。
  論文  参考訳（メタデータ） (2022-08-12T08:29:44Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Robbing the Fed: Directly Obtaining Private Data in Federated Learning with Modified Models [56.0250919557652]
  フェデレーション学習は、ユーザーのプライバシーと効率を高めるという約束で急速に人気を集めている。 ユーザプライバシに対する以前の攻撃はスコープが限られており、少数のデータポイントに集約されたグラデーション更新にはスケールしない。 共有モデルアーキテクチャの最小限ではあるが悪意のある変更に基づく新しい脅威モデルを導入する。
  論文  参考訳（メタデータ） (2021-10-25T15:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。