論文の概要: AGIC: Approximate Gradient Inversion Attack on Federated Learning
- arxiv url: http://arxiv.org/abs/2204.13784v1
- Date: Thu, 28 Apr 2022 21:15:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-03 07:08:50.995500
- Title: AGIC: Approximate Gradient Inversion Attack on Federated Learning
- Title（参考訳）: AGIC:フェデレートラーニングにおける近似勾配インバージョンアタック
- Authors: Jin Xu, Chi Hong, Jiyue Huang, Lydia Y. Chen, J\'er\'emie Decouchant
- Abstract要約: フェデレートラーニング(Federated Learning)は、クライアントがグローバルモデルを計算するためにローカルアップデートを集約する前に、自身のデータ上でローカルモデルをトレーニングする、プライベート・バイ・デザインの分散ラーニングパラダイムである。
最近のリコンストラクション攻撃では、訓練中にクライアントが使用するプライベートデータを再構築するために、単一のミニバッチの勾配更新に勾配インバージョン最適化を適用している。
本稿では,モデル更新と勾配更新の両方から効率的に画像を再構成する新しい近似勾配反転攻撃法AGICを提案する。
- 参考スコア（独自算出の注目度）: 7.289310150187218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning is a private-by-design distributed learning paradigm where
clients train local models on their own data before a central server aggregates
their local updates to compute a global model. Depending on the aggregation
method used, the local updates are either the gradients or the weights of local
learning models. Recent reconstruction attacks apply a gradient inversion
optimization on the gradient update of a single minibatch to reconstruct the
private data used by clients during training. As the state-of-the-art
reconstruction attacks solely focus on single update, realistic adversarial
scenarios are overlooked, such as observation across multiple updates and
updates trained from multiple mini-batches. A few studies consider a more
challenging adversarial scenario where only model updates based on multiple
mini-batches are observable, and resort to computationally expensive simulation
to untangle the underlying samples for each local step. In this paper, we
propose AGIC, a novel Approximate Gradient Inversion Attack that efficiently
and effectively reconstructs images from both model or gradient updates, and
across multiple epochs. In a nutshell, AGIC (i) approximates gradient updates
of used training samples from model updates to avoid costly simulation
procedures, (ii) leverages gradient/model updates collected from multiple
epochs, and (iii) assigns increasing weights to layers with respect to the
neural network structure for reconstruction quality. We extensively evaluate
AGIC on three datasets, CIFAR-10, CIFAR-100 and ImageNet. Our results show that
AGIC increases the peak signal-to-noise ratio (PSNR) by up to 50% compared to
two representative state-of-the-art gradient inversion attacks. Furthermore,
AGIC is faster than the state-of-the-art simulation based attack, e.g., it is
5x faster when attacking FedAvg with 8 local steps in between model updates.
- Abstract（参考訳）: フェデレーション学習(federated learning)は、中央サーバがローカルアップデートを集約してグローバルモデルを計算する前に、クライアントが自身のデータでローカルモデルをトレーニングする、プライベート・バイ・デザインの分散学習パラダイムである。
使用する集計方法によっては、ローカル更新は、局所学習モデルの勾配または重み付けのいずれかである。
最近のレコンストラクション攻撃は、1つのミニバッチの勾配更新に勾配反転最適化を適用し、訓練中にクライアントが使用するプライベートデータを再構築する。
最先端の再構築攻撃は単一の更新のみに焦点を当てているため、複数の更新の監視や、複数のミニバッチからトレーニングされた更新など、現実的な敵シナリオは見過ごされている。
いくつかの研究は、複数のミニバッチに基づくモデル更新のみが観測可能で、各ローカルステップの基盤となるサンプルを絡める計算コストの高いシミュレーションに頼る、より困難な敵対的シナリオを考察している。
本稿では,モデルまたはグラデーション更新,および複数のエポックにわたって画像の効率的かつ効果的に再構成する,新しい近似勾配反転攻撃であるagicを提案する。
AGIC (複数形 AGICs)
(i)コストのかかるシミュレーション手順を避けるため、モデル更新から使用したトレーニングサンプルの勾配更新を近似する。
(ii)複数のエポックから収集した勾配/モデル更新を活用し、
(iii) 階層の重み付けをニューラルネットワークの構造の再構成品質に割り当てる。
CIFAR-10, CIFAR-100, ImageNetの3つのデータセット上でAGICを広範囲に評価した。
以上の結果から,AGICは2つの最先端勾配反転攻撃と比較してピーク信号対雑音比(PSNR)を最大50%増加させることがわかった。
さらに、AGICは最先端のシミュレーションベースの攻撃よりも高速で、例えば、モデル更新間の8つのローカルステップでFedAvgを攻撃する場合の5倍高速である。
関連論文リスト
- Federated Learning under Attack: Improving Gradient Inversion for Batch of Images [1.5749416770494706]
フェデレートラーニング(FL)は、ユーザのデータのプライバシを保存する機械学習アプローチとして登場した。
フィードバックブレンディング(DLG-FB)を用いたグラディエンスからのディープリークは、逆勾配攻撃を改善することができる。
論文 参考訳（メタデータ） (2024-09-26T12:02:36Z) - Recovering Labels from Local Updates in Federated Learning [14.866327821524854]
グラディエント(GI)攻撃は、連邦学習(FL)におけるクライアントのプライバシーを脅かす
ローカル更新(RLU)からラベルを回収する新しいラベルリカバリ方式を提案する。
RLUは、FLシステムが複数のローカルエポックをヘテロジニアスなデータでトレーニングする現実的な実環境でも高い性能を達成する。
論文 参考訳（メタデータ） (2024-05-02T02:33:15Z) - Approximate and Weighted Data Reconstruction Attack in Federated Learning [1.802525429431034]
分散学習(FL)は、クライアントがプライベートデータを共有せずに、機械学習モデルを構築するためのコラボレーションを可能にする。
最近のデータ再構成攻撃は、攻撃者がFLで共有されたパラメータに基づいてクライアントのトレーニングデータを復元できることを実証している。
本稿では、クライアントのローカルトレーニングプロセスの中間モデル更新を生成することにより、FedAvgシナリオの攻撃を可能にする近似手法を提案する。
論文 参考訳（メタデータ） (2023-08-13T17:40:56Z) - Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized
Language Model Finetuning Using Shared Randomness [86.61582747039053]
分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。
分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
論文 参考訳（メタデータ） (2023-06-16T17:59:51Z) - Federated Adversarial Learning: A Framework with Convergence Analysis [28.136498729360504]
フェデレートラーニング(Federated Learning、FL)は、分散トレーニングデータを活用するためのトレンドトレーニングパラダイムである。
FLは、クライアントがいくつかのエポックでモデルパラメータをローカルに更新し、アグリゲーションのためのグローバルモデルと共有することを可能にする。
このトレーニングパラダイムは、アグリゲーションの前に複数のローカルステップを更新することで、敵の攻撃に対してユニークな脆弱性を露呈する。
論文 参考訳（メタデータ） (2022-08-07T04:17:34Z) - Scaling Private Deep Learning with Low-Rank and Sparse Gradients [5.14780936727027]
ニューラルネットワークの低ランクかつスパースな構造を利用して、勾配更新の次元を小さくするフレームワークを提案する。
勾配を拡大するために新しい戦略が利用され、低次元でノイズの少ない更新をもたらす。
自然言語処理とコンピュータビジョンタスクの実証評価により,本手法が他の最先端のベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2022-07-06T14:09:47Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - A Transfer Learning approach to Heatmap Regression for Action Unit
intensity estimation [50.261472059743845]
アクション・ユニット(英: Action Units、AUs)は、幾何学に基づく原子性顔面筋運動である。
本稿では,その位置と強度を共同で推定する新しいAUモデリング問題を提案する。
ヒートマップは、所定の空間的位置でAUが発生するか否かをモデル化する。
論文 参考訳（メタデータ） (2020-04-14T16:51:13Z) - Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad
Samples [67.11669996924671]
GAN(Generative Adversarial Network)トレーニングアルゴリズムに,簡単な修正(一行のコード)を導入する。
ジェネレータパラメータを更新するとき、批判者が最も現実的に評価するバッチの要素から勾配のコントリビューションをゼロにします。
このトップk更新の手順が一般的に適用可能な改善であることを示す。
論文 参考訳（メタデータ） (2020-02-14T19:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。