Fugu-MT 論文翻訳(概要): SPEAR:Exact Gradient Inversion of Batches in Federated Learning

論文の概要: SPEAR:Exact Gradient Inversion of Batches in Federated Learning

arxiv url: http://arxiv.org/abs/2403.03945v2
Date: Mon, 3 Jun 2024 09:55:44 GMT
ステータス: 処理完了
システム内更新日: 2024-06-04 16:08:41.863779
Title: SPEAR:Exact Gradient Inversion of Batches in Federated Learning
Title（参考訳）: SPEAR:フェデレートラーニングにおけるバッチの具体的なグラディエント・インバージョン
Authors: Dimitar I. Dimitrov, Maximilian Baader, Mark Niklas Müller, Martin Vechev,
Abstract要約: フェデレーション・ラーニング(Federated Learning)は、クライアントがサーバとプライベートデータを共有するのではなく、勾配更新のみを共有する機械学習のフレームワークである。本研究では,バッチ全体を正確に$b > 1$で再構築する最初のアルゴリズムであるSPEARを提案する。我々は,大規模ネットワークへのスケーリング中に,最大$b以下の25ドルのバッチで高次元イメージネット入力を復元することを示す。
参考スコア（独自算出の注目度）: 11.799563040751591
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Federated learning is a framework for collaborative machine learning where clients only share gradient updates and not their private data with a server. However, it was recently shown that gradient inversion attacks can reconstruct this data from the shared gradients. In the important honest-but-curious setting, existing attacks enable exact reconstruction only for a batch size of $b=1$, with larger batches permitting only approximate reconstruction. In this work, we propose SPEAR, the first algorithm reconstructing whole batches with $b >1$ exactly. SPEAR combines insights into the explicit low-rank structure of gradients with a sampling-based algorithm. Crucially, we leverage ReLU-induced gradient sparsity to precisely filter out large numbers of incorrect samples, making a final reconstruction step tractable. We provide an efficient GPU implementation for fully connected networks and show that it recovers high-dimensional ImageNet inputs in batches of up to $b \lesssim 25$ exactly while scaling to large networks. Finally, we show theoretically that much larger batches can be reconstructed with high probability given exponential time.
Abstract（参考訳）: フェデレーション・ラーニング(Federated Learning)は、クライアントがサーバとプライベートデータを共有するのではなく、グラデーションアップデートのみを共有する、コラボレーティブな機械学習のためのフレームワークである。しかし、近年、勾配反転攻撃は共有勾配からこのデータを再構成できることが示されている。重要な誠実だが正確な設定では、既存のアタックは、バッチサイズが$b=1$でのみ正確なリコンストラクションを可能にし、より大きなバッチは、近似的なリコンストラクションのみを可能にする。本研究では,バッチ全体を正確に$b > 1$で再構築する最初のアルゴリズムであるSPEARを提案する。 SPEARは、勾配の明示的な低ランク構造に対する洞察とサンプリングベースのアルゴリズムを組み合わせる。重要なことは、ReLUにより誘導される勾配空間を利用して、多数の不正確なサンプルを正確にフィルタリングし、最終的な再構築ステップを抽出できるようにする。完全に接続されたネットワークに対して効率的なGPU実装を提供し、大規模ネットワークへのスケーリング中に最大$b \lesssim 25$のバッチで高次元のImageNet入力を復元することを示す。最後に,指数時間に対して高い確率でより大きなバッチを再構成できることを理論的に示す。

関連論文リスト

DAGER: Exact Gradient Inversion for Large Language Models [10.998375857698496]
フェデレーション学習は、複数のクライアントからローカルに計算された勾配を集約することで機能する。これまでの研究では、いわゆるグラディエント・インバージョン・アタックを使用して、データをサーバによって実際に回収できることが示されていた。入力テキストのバッチ全体を正確に復元する最初のアルゴリズムであるDAGERを提案する。
論文参考訳（メタデータ） (2024-05-24T14:14:24Z)
Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-05-24T15:52:08Z)
Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
論文参考訳（メタデータ） (2022-12-05T14:47:52Z)
Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文参考訳（メタデータ） (2022-10-07T03:52:27Z)
Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
論文参考訳（メタデータ） (2022-10-04T04:01:15Z)
Deep Amended Gradient Descent for Efficient Spectral Reconstruction from Single RGB Images [42.26124628784883]
本稿では、AGD-Netという、コンパクトで効率的でエンドツーエンドの学習ベースのフレームワークを提案する。まず、古典的勾配降下アルゴリズムに基づいて問題を明示的に定式化する。 AGD-Netは、平均1.0dB以上のリコンストラクション品質を向上させることができる。
論文参考訳（メタデータ） (2021-08-12T05:54:09Z)
Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。 BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文参考訳（メタデータ） (2021-06-17T10:14:43Z)
See through Gradients: Image Batch Recovery via GradInversion [103.26922860665039]
我々は、より大きなバッチからの入力イメージをResNets(50層)のような大規模ネットワークでも復元できるGradInversionを紹介した。複雑なデータセット、ディープネットワーク、大規模なバッチサイズであっても、GradInversionを通じて、個々のイメージを高い忠実度で復元できるような、驚くほど大量の情報をエンコードする勾配を示す。
論文参考訳（メタデータ） (2021-04-15T16:43:17Z)
R-GAP: Recursive Gradient Attack on Privacy [5.687523225718642]
フェデレートラーニング(Federated Learning)は、プライバシの要求と、分散データの大規模なコレクションから学ぶという約束の間のジレンマを打破する、有望なアプローチである。ディープニューラルネットワークの勾配からデータを復元するクローズドフォーム再帰法を提案する。また,特定のネットワークアーキテクチャに固有の勾配攻撃のリスクを推定するランク解析手法を提案する。
論文参考訳（メタデータ） (2020-10-15T13:22:40Z)
f-BRS: Rethinking Backpropagating Refinement for Interactive Segmentation [8.304331351572277]
補助変数に対する最適化問題を解くために, f-BRS (Feature Backproagating refinement scheme) を提案する。 GrabCut、バークレー、DAVIS、SBDのデータセットの実験では、オリジナルのBRSと比較してクリックあたりの時間の桁違いに新しい最先端のデータセットが設定された。
論文参考訳（メタデータ） (2020-01-28T14:10:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。