論文の概要: QBI: Quantile-Based Bias Initialization for Efficient Private Data Reconstruction in Federated Learning
- arxiv url: http://arxiv.org/abs/2406.18745v2
- Date: Thu, 26 Sep 2024 18:36:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 01:10:29.009994
- Title: QBI: Quantile-Based Bias Initialization for Efficient Private Data Reconstruction in Federated Learning
- Title（参考訳）: QBI: フェデレーション学習における効率的なプライベートデータ再構成のための量子ベースのバイアス初期化
- Authors: Micha V. Nowak, Tim P. Bott, David Khachaturov, Frank Puppe, Adrian Krenzer, Amar Hekalo,
- Abstract要約: フェデレーション学習は、ユーザのプライバシを損なうことなく、分散データ上で機械学習モデルのトレーニングを可能にする。
近年の研究では、中央のエンティティが共有モデル更新からプライベートデータを完全に再構築できることが示されている。
- 参考スコア（独自算出の注目度）: 0.5497663232622965
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning enables the training of machine learning models on distributed data without compromising user privacy, as data remains on personal devices and only model updates, such as gradients, are shared with a central coordinator. However, recent research has shown that the central entity can perfectly reconstruct private data from shared model updates by maliciously initializing the model's parameters. In this paper, we propose QBI, a novel bias initialization method that significantly enhances reconstruction capabilities. This is accomplished by directly solving for bias values yielding sparse activation patterns. Further, we propose PAIRS, an algorithm that builds on QBI. PAIRS can be deployed when a separate dataset from the target domain is available to further increase the percentage of data that can be fully recovered. Measured by the percentage of samples that can be perfectly reconstructed from batches of various sizes, our approach achieves significant improvements over previous methods with gains of up to 50% on ImageNet and up to 60% on the IMDB sentiment analysis text dataset. Furthermore, we establish theoretical limits for attacks leveraging stochastic gradient sparsity, providing a foundation for understanding the fundamental constraints of these attacks. We empirically assess these limits using synthetic datasets. Finally, we propose and evaluate AGGP, a defensive framework designed to prevent gradient sparsity attacks, contributing to the development of more secure and private federated learning systems.
- Abstract（参考訳）: フェデレーション学習は、個人デバイスにデータが残り、勾配のようなモデル更新だけが中央コーディネータと共有されるため、ユーザのプライバシを損なうことなく、分散データ上で機械学習モデルのトレーニングを可能にする。
しかし,近年の研究では,モデルパラメータを悪質に初期化することにより,共有モデル更新からプライベートデータを完全に再構築できることが示されている。
本稿では,再建能力を大幅に向上させる新しいバイアス初期化手法であるQBIを提案する。
これは、スパースアクティベーションパターンをもたらすバイアス値を直接解決することで達成される。
さらに,QBIに基づくアルゴリズムであるPAIRSを提案する。
PAIRSは、ターゲットドメインから別のデータセットが利用可能になったときにデプロイでき、完全回復可能なデータの割合をさらに増やすことができる。
様々なサイズのバッチから完全に再構成できるサンプルの割合で測定し,ImageNetで最大50%,IMDB感情分析テキストデータセットで最大60%の精度で,従来の手法よりも大幅な改善を実現した。
さらに,確率勾配空間を利用した攻撃の理論的限界を確立し,これらの攻撃の基本的な制約を理解する基盤となる。
合成データセットを用いて,これらの限界を実験的に評価する。
最後に,よりセキュアでプライベートなフェデレーション学習システムの開発に寄与する,勾配空間攻撃を防止するための防御フレームワーク AGGP を提案し,評価する。
関連論文リスト
- Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳（メタデータ） (2023-09-14T03:48:27Z) - Approximate and Weighted Data Reconstruction Attack in Federated Learning [1.802525429431034]
分散学習(FL)は、クライアントがプライベートデータを共有せずに、機械学習モデルを構築するためのコラボレーションを可能にする。
最近のデータ再構成攻撃は、攻撃者がFLで共有されたパラメータに基づいてクライアントのトレーニングデータを復元できることを実証している。
本稿では、クライアントのローカルトレーニングプロセスの中間モデル更新を生成することにより、FedAvgシナリオの攻撃を可能にする近似手法を提案する。
論文 参考訳（メタデータ） (2023-08-13T17:40:56Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳（メタデータ） (2023-07-12T16:28:21Z) - FedCC: Robust Federated Learning against Model Poisoning Attacks [0.0]
フェデレートラーニング(Federated Learning)は、学習モデルにおけるプライバシの問題に対処するように設計されている。
新しい分散パラダイムは、データのプライバシを保護するが、サーバがローカルデータセットにアクセスできないため、攻撃面を区別する。
論文 参考訳（メタデータ） (2022-12-05T01:52:32Z) - Robbing the Fed: Directly Obtaining Private Data in Federated Learning
with Modified Models [56.0250919557652]
フェデレーション学習は、ユーザーのプライバシーと効率を高めるという約束で急速に人気を集めている。
ユーザプライバシに対する以前の攻撃はスコープが限られており、少数のデータポイントに集約されたグラデーション更新にはスケールしない。
共有モデルアーキテクチャの最小限ではあるが悪意のある変更に基づく新しい脅威モデルを導入する。
論文 参考訳（メタデータ） (2021-10-25T15:52:06Z) - Secure Neuroimaging Analysis using Federated Learning with Homomorphic
Encryption [14.269757725951882]
フェデレートラーニング(FL)は、異なるリモートデータソース上の機械学習モデルの分散計算を可能にする。
最近のメンバーシップ攻撃は、モデルパラメータや要約統計が中央サイトと共有されているときに、個人的または機密性の高い個人情報が漏洩したり、推測されることがあることを示している。
完全同相暗号(FHE)を用いたセキュアFLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-07T12:15:52Z) - R-GAP: Recursive Gradient Attack on Privacy [5.687523225718642]
フェデレートラーニング(Federated Learning)は、プライバシの要求と、分散データの大規模なコレクションから学ぶという約束の間のジレンマを打破する、有望なアプローチである。
ディープニューラルネットワークの勾配からデータを復元するクローズドフォーム再帰法を提案する。
また,特定のネットワークアーキテクチャに固有の勾配攻撃のリスクを推定するランク解析手法を提案する。
論文 参考訳（メタデータ） (2020-10-15T13:22:40Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳（メタデータ） (2020-10-08T16:20:48Z) - GRAFFL: Gradient-free Federated Learning of a Bayesian Generative Model [8.87104231451079]
本稿では、GRAFFLと呼ばれる、最初の勾配のない連邦学習フレームワークを提案する。
参加する各機関から得られた暗黙の情報を用いて、パラメータの後方分布を学習する。
本稿では,GRAFFLに基づくベイズ混合モデルを提案する。
論文 参考訳（メタデータ） (2020-08-29T07:19:44Z) - Privacy-preserving Traffic Flow Prediction: A Federated Learning
Approach [61.64006416975458]
本稿では,フェデレート学習に基づくGated Recurrent Unit Neural Network Algorithm (FedGRU) というプライバシ保護機械学習手法を提案する。
FedGRUは、現在の集中学習方法と異なり、安全なパラメータアグリゲーション機構を通じて、普遍的な学習モデルを更新する。
FedGRUの予測精度は、先進的なディープラーニングモデルよりも90.96%高い。
論文 参考訳（メタデータ） (2020-03-19T13:07:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。