論文の概要: SPEAR:Exact Gradient Inversion of Batches in Federated Learning

• arxiv url: http://arxiv.org/abs/2403.03945v1
• Date: Wed, 6 Mar 2024 18:52:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 13:52:20.207209
• Title: SPEAR:Exact Gradient Inversion of Batches in Federated Learning
• Title（参考訳）: SPEAR:フェデレートラーニングにおけるバッチの高次インバージョン
• Authors: Dimitar I. Dimitrov, Maximilian Baader, Mark Niklas M\"uller, Martin Vechev
• Abstract要約: フェデレーション・ラーニング(Federated Learning)は、複数のクライアントがローカルデータの勾配アップデートをサーバと共有する、マシンラーニングの一般的なフレームワークである。 グラデーション・インバージョン・アタックは 共有グラデーションから このデータを再構築できる 既存の攻撃は、重要な誠実だが正確な設定で、バッチサイズが$b=1$の場合にのみ正確な再構築を可能にする。
• 参考スコア（独自算出の注目度）: 6.677219861416146
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated learning is a popular framework for collaborative machine learning where multiple clients only share gradient updates on their local data with the server and not the actual data. Unfortunately, it was recently shown that gradient inversion attacks can reconstruct this data from these shared gradients. Existing attacks enable exact reconstruction only for a batch size of $b=1$ in the important honest-but-curious setting, with larger batches permitting only approximate reconstruction. In this work, we propose \emph{the first algorithm reconstructing whole batches with $b >1$ exactly}. This approach combines mathematical insights into the explicit low-rank structure of gradients with a sampling-based algorithm. Crucially, we leverage ReLU-induced gradient sparsity to precisely filter out large numbers of incorrect samples, making a final reconstruction step tractable. We provide an efficient GPU implementation for fully connected networks and show that it recovers batches of $b \lesssim 25$ elements exactly while being tractable for large network widths and depths.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、複数のクライアントがローカルデータの勾配更新のみを、実際のデータではなくサーバと共有する、コラボレーション機械学習のためのフレームワークである。 残念ながら、最近、勾配反転攻撃はこれらの共有勾配からこれらのデータを再構成できることが示されている。 既存の攻撃では、重要な誠実だが正確な設定で、バッチサイズが$b=1$でしか正確な再構築ができない。 本研究では,バッチ全体を$b > 1$ exactly}で再構築するアルゴリズムを提案する。 このアプローチは、数学的洞察を勾配の明示的な低ランク構造とサンプリングベースのアルゴリズムを組み合わせる。 重要なのは,reluによって引き起こされた勾配のスパーシティを利用して,大量の不正確なサンプルを正確にフィルタリングし,最終的な再構築ステップをトラクタブル化することである。 私たちは、完全接続されたネットワークに対する効率的なgpu実装を提供し、大きなネットワーク幅と深さを扱いながら、正確に$b \lesssim 25$要素のバッチをリカバリできることを示します。

関連論文リスト

• DAGER: Exact Gradient Inversion for Large Language Models [10.998375857698496]
  フェデレーション学習は、複数のクライアントからローカルに計算された勾配を集約することで機能する。 これまでの研究では、いわゆるグラディエント・インバージョン・アタックを使用して、データをサーバによって実際に回収できることが示されていた。 入力テキストのバッチ全体を正確に復元する最初のアルゴリズムであるDAGERを提案する。
  論文  参考訳（メタデータ） (2024-05-24T14:14:24Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Deep Amended Gradient Descent for Efficient Spectral Reconstruction from Single RGB Images [42.26124628784883]
  本稿では、AGD-Netという、コンパクトで効率的でエンドツーエンドの学習ベースのフレームワークを提案する。 まず、古典的勾配降下アルゴリズムに基づいて問題を明示的に定式化する。 AGD-Netは、平均1.0dB以上のリコンストラクション品質を向上させることができる。
  論文  参考訳（メタデータ） (2021-08-12T05:54:09Z)
• Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
  本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。 BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-06-17T10:14:43Z)
• See through Gradients: Image Batch Recovery via GradInversion [103.26922860665039]
  我々は、より大きなバッチからの入力イメージをResNets(50層)のような大規模ネットワークでも復元できるGradInversionを紹介した。 複雑なデータセット、ディープネットワーク、大規模なバッチサイズであっても、GradInversionを通じて、個々のイメージを高い忠実度で復元できるような、驚くほど大量の情報をエンコードする勾配を示す。
  論文  参考訳（メタデータ） (2021-04-15T16:43:17Z)
• R-GAP: Recursive Gradient Attack on Privacy [5.687523225718642]
  フェデレートラーニング(Federated Learning)は、プライバシの要求と、分散データの大規模なコレクションから学ぶという約束の間のジレンマを打破する、有望なアプローチである。 ディープニューラルネットワークの勾配からデータを復元するクローズドフォーム再帰法を提案する。 また,特定のネットワークアーキテクチャに固有の勾配攻撃のリスクを推定するランク解析手法を提案する。
  論文  参考訳（メタデータ） (2020-10-15T13:22:40Z)
• f-BRS: Rethinking Backpropagating Refinement for Interactive Segmentation [8.304331351572277]
  補助変数に対する最適化問題を解くために, f-BRS (Feature Backproagating refinement scheme) を提案する。 GrabCut、バークレー、DAVIS、SBDのデータセットの実験では、オリジナルのBRSと比較してクリックあたりの時間の桁違いに新しい最先端のデータセットが設定された。
  論文  参考訳（メタデータ） (2020-01-28T14:10:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。