論文の概要: SPEAR++: Scaling Gradient Inversion via Sparsely-Used Dictionary Learning

• arxiv url: http://arxiv.org/abs/2510.24200v1
• Date: Tue, 28 Oct 2025 09:06:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.915072
• Title: SPEAR++: Scaling Gradient Inversion via Sparsely-Used Dictionary Learning
• Title（参考訳）: SPEAR++: Sparsely-Used Dictionary Learningによるグラディエント・インバージョンの拡大
• Authors: Alexander Bakarsky, Dimitar I. Dimitrov, Maximilian Baader, Martin Vechev,
• Abstract要約: Federated Learningは最近、現実世界のシナリオへのデプロイが増えている。 いわゆる勾配反転攻撃の導入は、プライバシー保護特性に挑戦している。 本稿では,ReLU活性化を伴う線形層の勾配の理論的解析に基づくSPEARを紹介する。 新たな攻撃であるSPEAR++は、DPノイズに対する堅牢性やFedAvgアグリゲーションなど、SPEARの望ましい特性をすべて保持しています。
• 参考スコア（独自算出の注目度）: 48.41770886055744
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated Learning has seen an increased deployment in real-world scenarios recently, as it enables the distributed training of machine learning models without explicit data sharing between individual clients. Yet, the introduction of the so-called gradient inversion attacks has fundamentally challenged its privacy-preserving properties. Unfortunately, as these attacks mostly rely on direct data optimization without any formal guarantees, the vulnerability of real-world systems remains in dispute and requires tedious testing for each new federated deployment. To overcome these issues, recently the SPEAR attack was introduced, which is based on a theoretical analysis of the gradients of linear layers with ReLU activations. While SPEAR is an important theoretical breakthrough, the attack's practicality was severely limited by its exponential runtime in the batch size b. In this work, we fill this gap by applying State-of-the-Art techniques from Sparsely-Used Dictionary Learning to make the problem of gradient inversion on linear layers with ReLU activations tractable. Our experiments demonstrate that our new attack, SPEAR++, retains all desirable properties of SPEAR, such as robustness to DP noise and FedAvg aggregation, while being applicable to 10x bigger batch sizes.
• Abstract（参考訳）: Federated Learningは最近、個々のクライアント間でデータを共有することなく、機械学習モデルの分散トレーニングを可能にするため、現実世界のシナリオへのデプロイが増加している。 しかし、いわゆるグラディエント・インバージョン・アタックの導入は、そのプライバシー保護特性に根本的に異議を唱えている。 残念ながら、これらの攻撃は正式な保証なしに直接データ最適化に依存しているため、現実世界のシステムの脆弱性はいまだに論争の的であり、新しいフェデレーションごとに面倒なテストが必要である。 これらの問題を克服するため、最近、ReLU活性化を伴う線形層の勾配に関する理論的解析に基づくSPEAR攻撃が導入された。 SPEARは重要な理論的なブレークスルーであるが、攻撃の実用性はバッチサイズbの指数的実行によって著しく制限された。 本研究では,Sparsely-Used Dictionary Learning の State-of-the-Art 技術を適用して,ReLU アクティベーションを抽出可能な線形層上の勾配反転問題を解くことで,このギャップを埋める。 我々の実験では、新しい攻撃であるSPEAR++は、DPノイズやFedAvgアグリゲーションに対する堅牢性など、SPEARの望ましいすべての特性を維持しつつ、10倍のバッチサイズに適用可能であることを示した。

関連論文リスト

• Non-Linear Trajectory Modeling for Multi-Step Gradient Inversion Attacks in Federated Learning [16.19043018432204]
  グラディエント・インバージョン・アタック(GIA)に対する非線形パラメトリック・トラジェクトリ・モデリングを導入する最初の方法であるNL-SME(Non-Linear Surrogate Model Extension)を提案する。 提案手法は,SGDの曲線特性を制御点から捉えた学習可能な2次B'ezier曲線に置き換え,正規化とdvecスケーリング機構を併用して表現性を向上する。
  論文  参考訳（メタデータ） (2025-09-26T09:04:25Z)
• GI-NAS: Boosting Gradient Inversion Attacks Through Adaptive Neural Architecture Search [52.27057178618773]
  グラディエント・インバージョン・アタック (Gradient Inversion Attacks) は、Federated Learning (FL) システムの伝達勾配を反転させ、ローカルクライアントの機密データを再構築する。 勾配反転法の大半は明示的な事前知識に大きく依存しており、現実的なシナリオでは利用できないことが多い。 本稿では,ニューラルネットワークを適応的に探索し,ニューラルネットワークの背後にある暗黙の先行情報をキャプチャするニューラルアーキテクチャ探索(GI-NAS)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T09:29:43Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Stabilizing Off-Policy Deep Reinforcement Learning from Pixels [9.998078491879145]
  ピクセル観測から学んだオフ政治強化は、非常に不安定である。 これらの不安定性は,畳み込みエンコーダと低次報酬を用いた時間差学習によって生じることを示す。 本稿では, エンコーダの勾配に適応的な正規化を提供する手法であるA-LIXを提案する。
  論文  参考訳（メタデータ） (2022-07-03T08:52:40Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
  入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。 我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
  論文  参考訳（メタデータ） (2021-06-21T21:42:08Z)
• Exploring the Security Boundary of Data Reconstruction via Neuron Exclusivity Analysis [23.07323180340961]
  線形整列ユニット(ReLUs)を用いたニューラルネットワーク上の微視的視点による勾配からのデータ再構成のセキュリティ境界について検討する。 ニューラルネットワークの安全性の低い境界にある訓練バッチの再構築において,従来の攻撃よりも大幅に優れる新しい決定論的攻撃アルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-10-26T05:54:47Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。