論文の概要: Gradient Inversion through Linear and Affine Subspace Constraints
- arxiv url: http://arxiv.org/abs/2611.13976v1
- Date: Tue, 10 Nov 2026 12:16:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.805038
- Title: Gradient Inversion through Linear and Affine Subspace Constraints
- Title(参考訳): 線形およびアフィン部分空間制約による勾配インバージョン
- Abstract要約: フェデレーション学習は、複数のクライアントが、ローカルデータセットを直接共有することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
以前の研究が示すように、トレーニング中に交換された勾配は、クライアントデータに関する機密情報を明らかにする可能性がある。
FC層からの凝集勾配と正しいスケーリングは実際に入力のアフィン結合であることを示す。
- 参考スコア(独自算出の注目度): 0.5156484100374058
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning enables multiple clients to collaboratively train a machine-learning model without directly sharing their local datasets. However, as prior works have shown, the gradients exchanged during training may reveal sensitive information about client data. Most existing attacks usually optimize dummy inputs to match the true client gradients (Gradient Inversion Attacks), while some attempt to reconstruct them based on the observation that aggregate gradients from a fully connected (FC) layer are a linear combination of its inputs. In this work, we extend this observation by showing that aggregate gradients from an FC layer with the correct scaling are actually an affine combination of its inputs. We evaluate a gradient inversion attack that leverages either known linear-subspace information or its affine-subspace counterpart at each FC layer to improve reconstruction accuracy. Our results show that subspace-based methods can substantially improve reconstruction quality over the chosen baselines in certain settings. We further demonstrate that moderate overestimation of the batch size can generally improve or preserve reconstruction quality, even when the true batch size is unknown. We additionally examine reconstruction under gradient perturbations introduced by a differential privacy (DP) mechanism, providing insight into the effectiveness of the considered formulations under noisy conditions.
- Abstract(参考訳): フェデレーション学習は、複数のクライアントが、ローカルデータセットを直接共有することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
しかし、以前の研究が示すように、トレーニング中に交換された勾配は、クライアントデータに関するセンシティブな情報を明らかにする可能性がある。
既存の攻撃のほとんどは、真のクライアント勾配(グラディエント・インバージョン・アタック)に一致するようにダミー入力を最適化するが、完全に連結された(FC)層からの集約勾配がその入力の線形結合であるという観察に基づいてそれらを再構築しようとする試みもある。
本研究では,FC層からの凝集勾配と正しいスケーリングが実際に入力のアフィン結合であることを示すことにより,この観測を拡張した。
我々は,各FC層における既知の線形部分空間情報またはアフィン部分空間情報を利用する勾配反転攻撃を評価し,再構成精度を向上させる。
提案手法は,特定の設定において,選択したベースラインの再構成品質を大幅に向上させることができることを示す。
さらに,真のバッチサイズが不明な場合でも,バッチサイズを適度に過大評価することにより,復元品質の向上や維持が可能であることを示す。
さらに、差分プライバシー(DP)機構によって導入された勾配摂動下での再構成について検討し、ノイズ条件下での考察式の有効性について考察する。
関連論文リスト
- Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。
近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。
我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
論文 参考訳(メタデータ) (2026-04-01T14:32:15Z) - CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling [63.07948989346385]
フェデレーション学習は、グローバルサーバ上でニューラルネットワークを協調的にトレーニングする。
各ローカルクライアントは、現在のグローバルモデルウェイトを受信し、そのローカルプライベートデータに基づいてパラメータ更新(グラディエント)を返送する。
既存の勾配反転攻撃は、クライアントの勾配ベクトルからプライベートトレーニングインスタンスを復元するためにこの脆弱性を利用することができる。
本稿では,大規模ニューラルネットワークモデルに適した新しい防衛手法を提案する。
論文 参考訳(メタデータ) (2025-01-27T01:06:23Z) - R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients [40.209183669098735]
本稿では,畳み込み層の勾配を効率的に利用するための高度なデータ漏洩手法を提案する。
我々の知る限りでは、これは勾配から直接畳み込み層の入力を再構築する最初の分析手法である。
論文 参考訳(メタデータ) (2024-06-06T16:28:04Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳(メタデータ) (2023-08-09T04:34:21Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T04:29:44Z) - Quantifying Information Leakage from Gradients [8.175697239083474]
トレーニングデータの代わりにディープニューラルネットワークの勾配を共有することで、コラボレーティブラーニングにおけるデータのプライバシが向上する可能性がある。
しかし実際には、勾配はプライベート潜在属性とオリジナルデータの両方を明らかにすることができる。
トレーニングデータ上で計算された勾配から、元の情報漏洩と潜時情報漏洩の両方を定量化するために、数学的メトリクスが必要である。
論文 参考訳(メタデータ) (2021-05-28T15:47:44Z) - Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。
多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。
各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
論文 参考訳(メタデータ) (2020-06-27T19:08:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。