論文の概要: Perfect Gradient Inversion in Federated Learning: A New Paradigm from the Hidden Subset Sum Problem
- arxiv url: http://arxiv.org/abs/2409.14260v1
- Date: Sat, 21 Sep 2024 23:01:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 23:26:16.381779
- Title: Perfect Gradient Inversion in Federated Learning: A New Paradigm from the Hidden Subset Sum Problem
- Title（参考訳）: フェデレーション学習における完全なグラディエント・インバージョン:隠れたサブセット・サム問題からの新しいパラダイム
- Authors: Qiongxiu Li, Lixia Luo, Agnese Gini, Changlong Ji, Zhanhao Hu, Xiao Li, Chengfang Fang, Jie Shi, Xiaolin Hu,
- Abstract要約: フェデレートラーニング(FL)は、複数の組織間で協調学習するための一般的なパラダイムとして登場した。
FLで共有される勾配情報を用いて入力再構成問題をHidden Subset Sum problemとして定式化する。
我々の分析は、なぜより大きなバッチサイズで経験的入力再構成攻撃が劣化したのかを洞察する。
- 参考スコア（独自算出の注目度）: 21.546869377126125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) has emerged as a popular paradigm for collaborative learning among multiple parties. It is considered privacy-friendly because local data remains on personal devices, and only intermediate parameters -- such as gradients or model updates -- are shared. Although gradient inversion is widely viewed as a common attack method in FL, analytical research on reconstructing input training samples from shared gradients remains limited and is typically confined to constrained settings like small batch sizes. In this paper, we aim to overcome these limitations by addressing the problem from a cryptographic perspective. We mathematically formulate the input reconstruction problem using the gradient information shared in FL as the Hidden Subset Sum Problem (HSSP), an extension of the well-known NP-complete Subset Sum Problem (SSP). Leveraging this formulation allows us to achieve perfect input reconstruction, thereby mitigating issues such as dependence on label diversity and underperformance with large batch sizes that hinder existing empirical gradient inversion attacks. Moreover, our analysis provides insights into why empirical input reconstruction attacks degrade with larger batch sizes. By modeling the problem as HSSP, we demonstrate that the batch size \( B \) significantly affects attack complexity, with time complexity reaching \( \mathcal{O}(B^9) \). We further show that applying secure data aggregation techniques -- such as homomorphic encryption and secure multiparty computation -- provides a strong defense by increasing the time complexity to \( \mathcal{O}(N^9 B^9) \), where \( N \) is the number of local clients in FL. To the best of our knowledge, this is the first work to rigorously analyze privacy issues in FL by modeling them as HSSP, providing a concrete analytical foundation for further exploration and development of defense strategies.
- Abstract（参考訳）: フェデレートラーニング(FL)は、複数の組織間で協調学習するための一般的なパラダイムとして登場した。
ローカルデータはパーソナルデバイスに残っており、グラデーションやモデル更新のような中間パラメータだけが共有されているため、プライバシフレンドリであると考えられている。
勾配インバージョンはFLの一般的な攻撃法として広く見なされているが、共有勾配から入力訓練サンプルを再構成する解析的研究は限定的であり、通常は小さなバッチサイズのような制約された設定に限られる。
本稿では,暗号的観点からこの問題に対処することで,これらの制限を克服することを目的とする。
我々は、FLで共有される勾配情報を用いて入力再構成問題を、よく知られたNP完全部分集合問題(SSP)の拡張であるHidden Subset Sum Problem (HSSP)として数学的に定式化する。
この定式化を活用することで、完全な入力再構成を実現し、ラベルの多様性への依存や、既存の経験的勾配反転攻撃を阻害する大規模なバッチサイズでのアンダーパフォーマンスといった問題を緩和できる。
さらに,実験的な入力再構成攻撃が,より大きなバッチサイズで低下する理由を考察した。
この問題をHSSPとしてモデル化することにより、バッチサイズ \(B \) が攻撃複雑性に大きく影響し、時間複雑性が \( \mathcal{O}(B^9) \) に達することを示した。
さらに、同相暗号やセキュアなマルチパーティ計算などのセキュアなデータ集約技術を適用することで、時間複雑性を( \mathcal{O}(N^9 B^9) \), \(N \) が FL のローカルクライアントの数に拡大することで、強力な防御効果が得られることを示す。
我々の知る限りでは、これらをHSSPとしてモデル化することでFLのプライバシー問題を厳格に分析し、防衛戦略のさらなる探索と開発のための具体的な分析基盤を提供する最初の試みである。
関連論文リスト
- Privacy-Preserving Distributed Learning for Residential Short-Term Load
Forecasting [11.185176107646956]
電力システムの負荷データは、住宅ユーザの日常のルーチンを不注意に明らかにし、彼らの財産のセキュリティにリスクを及ぼす可能性がある。
我々はマルコフスイッチ方式の分散学習フレームワークを導入し、その収束は厳密な理論的解析によって実証される。
実世界の電力系統負荷データを用いたケーススタディにより,提案アルゴリズムの有効性を検証した。
論文 参考訳（メタデータ） (2024-02-02T16:39:08Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - Mixed Precision Quantization to Tackle Gradient Leakage Attacks in
Federated Learning [1.7205106391379026]
フェデレートラーニング(FL)は、明示的なデータ共有を必要とせずに、多数の参加者の間で協調的なモデル構築を可能にする。
このアプローチは、プライバシ推論攻撃を適用した際の脆弱性を示す。
特に、モデル勾配からセンシティブなデータを取得する上で高い成功率を持つ勾配リーク攻撃の場合、FLモデルは、その固有のアーキテクチャにおける通信の存在により、高いリスクを負う。
論文 参考訳（メタデータ） (2022-10-22T04:24:32Z) - Feature Reconstruction Attacks and Countermeasures of DNN training in
Vertical Federated Learning [39.85691324350159]
統合学習(FL)は、サイロ化されたデータに対する安全な協調トレーニングを促進するために、組織の中で、その垂直な形で、ますます多くデプロイされている。
VFLの採用が増加しているにもかかわらず、アクティブパーティが受動的パーティから特徴データを抽出できるかどうか、またどのようにして機能データを抽出できるかは、ほとんど不明である。
本稿では,VFLにおけるDNNトレーニングの特徴的セキュリティ問題について検討する。
論文 参考訳（メタデータ） (2022-10-13T06:23:47Z) - Cocktail Party Attack: Breaking Aggregation-Based Privacy in Federated
Learning using Independent Component Analysis [26.233860960220483]
Federated Learning(FL)は、複数のデータ所有者が保持する分散データ上で、プライバシ保護機械学習を実行することを目的としている。
この目的のために、FLはデータ所有者に対して、ローカルでトレーニングを実行し、グラデーションアップデートを中央サーバと共有するように要求する。
それ自体によるアグリゲーションは、プライバシー保護を提供するものではないが、以前の研究では、バッチサイズが十分に大きい場合には十分であることを示した。
論文 参考訳（メタデータ） (2022-09-12T20:01:53Z) - Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive
Privacy Analysis and Beyond [57.10914865054868]
垂直ロジスティック回帰(VLR)をミニバッチ降下勾配で訓練した。
我々は、オープンソースのフェデレーション学習フレームワークのクラスにおいて、VLRの包括的で厳密なプライバシー分析を提供する。
論文 参考訳（メタデータ） (2022-07-19T05:47:30Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳（メタデータ） (2022-02-14T18:33:12Z) - Provable Reinforcement Learning with a Short-Term Memory [68.00677878812908]
我々はPMDPsの新しいサブクラスについて研究し、その潜在状態は、最近の短い長さ$m$の履歴によって復号化することができる。
特に、リッチ・オブザーブレーション・セッティングにおいて、指数関数的にスケールするサンプル複雑性を持つ新しい「モーメントマッチング」アプローチを用いて、新しいアルゴリズムを開発する。
以上の結果から,これらの環境下での強化学習には短期記憶が十分であることが示唆された。
論文 参考訳（メタデータ） (2022-02-08T16:39:57Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。