論文の概要: SPEAR:Exact Gradient Inversion of Batches in Federated Learning
- arxiv url: http://arxiv.org/abs/2403.03945v1
- Date: Wed, 6 Mar 2024 18:52:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 13:52:20.207209
- Title: SPEAR:Exact Gradient Inversion of Batches in Federated Learning
- Title(参考訳): SPEAR:フェデレートラーニングにおけるバッチの高次インバージョン
- Authors: Dimitar I. Dimitrov, Maximilian Baader, Mark Niklas M\"uller, Martin
Vechev
- Abstract要約: フェデレーション・ラーニング(Federated Learning)は、複数のクライアントがローカルデータの勾配アップデートをサーバと共有する、マシンラーニングの一般的なフレームワークである。
グラデーション・インバージョン・アタックは 共有グラデーションから このデータを再構築できる
既存の攻撃は、重要な誠実だが正確な設定で、バッチサイズが$b=1$の場合にのみ正確な再構築を可能にする。
- 参考スコア(独自算出の注目度): 6.677219861416146
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Federated learning is a popular framework for collaborative machine learning
where multiple clients only share gradient updates on their local data with the
server and not the actual data. Unfortunately, it was recently shown that
gradient inversion attacks can reconstruct this data from these shared
gradients. Existing attacks enable exact reconstruction only for a batch size
of $b=1$ in the important honest-but-curious setting, with larger batches
permitting only approximate reconstruction. In this work, we propose \emph{the
first algorithm reconstructing whole batches with $b >1$ exactly}. This
approach combines mathematical insights into the explicit low-rank structure of
gradients with a sampling-based algorithm. Crucially, we leverage ReLU-induced
gradient sparsity to precisely filter out large numbers of incorrect samples,
making a final reconstruction step tractable. We provide an efficient GPU
implementation for fully connected networks and show that it recovers batches
of $b \lesssim 25$ elements exactly while being tractable for large network
widths and depths.
- Abstract(参考訳): フェデレーション学習(federated learning)は、複数のクライアントがローカルデータの勾配更新のみを、実際のデータではなくサーバと共有する、コラボレーション機械学習のためのフレームワークである。
残念ながら、最近、勾配反転攻撃はこれらの共有勾配からこれらのデータを再構成できることが示されている。
既存の攻撃では、重要な誠実だが正確な設定で、バッチサイズが$b=1$でしか正確な再構築ができない。
本研究では,バッチ全体を$b > 1$ exactly}で再構築するアルゴリズムを提案する。
このアプローチは、数学的洞察を勾配の明示的な低ランク構造とサンプリングベースのアルゴリズムを組み合わせる。
重要なのは,reluによって引き起こされた勾配のスパーシティを利用して,大量の不正確なサンプルを正確にフィルタリングし,最終的な再構築ステップをトラクタブル化することである。
私たちは、完全接続されたネットワークに対する効率的なgpu実装を提供し、大きなネットワーク幅と深さを扱いながら、正確に$b \lesssim 25$要素のバッチをリカバリできることを示します。
関連論文リスト
- How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。
この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。
厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文 参考訳(メタデータ) (2023-12-07T21:40:44Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - Condensing Graphs via One-Step Gradient Matching [50.07587238142548]
ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。
我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。
特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
論文 参考訳(メタデータ) (2022-06-15T18:20:01Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳(メタデータ) (2021-11-30T02:13:54Z) - Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。
BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文 参考訳(メタデータ) (2021-06-17T10:14:43Z) - See through Gradients: Image Batch Recovery via GradInversion [103.26922860665039]
我々は、より大きなバッチからの入力イメージをResNets(50層)のような大規模ネットワークでも復元できるGradInversionを紹介した。
複雑なデータセット、ディープネットワーク、大規模なバッチサイズであっても、GradInversionを通じて、個々のイメージを高い忠実度で復元できるような、驚くほど大量の情報をエンコードする勾配を示す。
論文 参考訳(メタデータ) (2021-04-15T16:43:17Z) - Scalable Online Recurrent Learning Using Columnar Neural Networks [35.584855852204385]
RTRLと呼ばれるアルゴリズムは、オンラインのリカレントネットワークの勾配を計算できるが、大規模なネットワークでは計算が困難である。
我々は,O(n)$演算とステップ毎のメモリを用いて,リアルタイムに繰り返し学習の勾配を近似するクレジット割り当てアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-09T23:45:13Z) - R-GAP: Recursive Gradient Attack on Privacy [5.687523225718642]
フェデレートラーニング(Federated Learning)は、プライバシの要求と、分散データの大規模なコレクションから学ぶという約束の間のジレンマを打破する、有望なアプローチである。
ディープニューラルネットワークの勾配からデータを復元するクローズドフォーム再帰法を提案する。
また,特定のネットワークアーキテクチャに固有の勾配攻撃のリスクを推定するランク解析手法を提案する。
論文 参考訳(メタデータ) (2020-10-15T13:22:40Z) - Points2Surf: Learning Implicit Surfaces from Point Cloud Patches [35.2104818061992]
スキャンベースの計算における重要なステップは、秩序のない点雲を表面に変換することである。
Points2Surfはパッチベースの新しい学習フレームワークで、正常なスキャンから正確な表面を直接生成する。
論文 参考訳(メタデータ) (2020-07-20T20:25:39Z) - Efficient Algorithms for Multidimensional Segmented Regression [42.046881924063044]
多次元回帰を用いた固定設計の基本問題について検討する。
我々は任意の固定次元におけるこの問題に対する最初のサンプルと計算効率のよいアルゴリズムを提供する。
提案アルゴリズムは,多次元的条件下では新規な,単純なマージ反復手法に依存している。
論文 参考訳(メタデータ) (2020-03-24T19:39:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。