論文の概要: The Resource Problem of Using Linear Layer Leakage Attack in Federated
Learning
- arxiv url: http://arxiv.org/abs/2303.14868v1
- Date: Mon, 27 Mar 2023 01:21:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 17:15:16.590016
- Title: The Resource Problem of Using Linear Layer Leakage Attack in Federated
Learning
- Title（参考訳）: 連関学習における線形層漏洩攻撃の資源問題
- Authors: Joshua C. Zhao, Ahmed Roushdy Elkordy, Atul Sharma, Yahya H. Ezzeldin,
Salman Avestimehr, Saurabh Bagchi
- Abstract要約: また,SOTAと比較してモデルサイズを327$times$以上,計算時間を334$times$以上削減できることを示す。
スパーシティの使用は,SOTAと比較してモデルサイズオーバーヘッドを327$times$以上,計算時間を3.34$times$以上削減できることを示す。
- 参考スコア（独自算出の注目度）: 18.34693758013391
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Secure aggregation promises a heightened level of privacy in federated
learning, maintaining that a server only has access to a decrypted aggregate
update. Within this setting, linear layer leakage methods are the only data
reconstruction attacks able to scale and achieve a high leakage rate regardless
of the number of clients or batch size. This is done through increasing the
size of an injected fully-connected (FC) layer. However, this results in a
resource overhead which grows larger with an increasing number of clients. We
show that this resource overhead is caused by an incorrect perspective in all
prior work that treats an attack on an aggregate update in the same way as an
individual update with a larger batch size. Instead, by attacking the update
from the perspective that aggregation is combining multiple individual updates,
this allows the application of sparsity to alleviate resource overhead. We show
that the use of sparsity can decrease the model size overhead by over
327$\times$ and the computation time by 3.34$\times$ compared to SOTA while
maintaining equivalent total leakage rate, 77% even with $1000$ clients in
aggregation.
- Abstract（参考訳）: セキュアアグリゲーションは、連合学習におけるプライバシの高レベルを約束し、サーバが復号化されたアグリゲーション更新へのアクセスしか持たない。
この設定内では、クライアント数やバッチサイズに関わらず、スケールし、高いリーク率を達成することができる唯一のデータ再構成攻撃は、線形層リーク手法である。
これは、注入された完全連結(fc)層を大きくすることで行われる。
しかし、結果としてリソースのオーバーヘッドは増大し、クライアントの数が増えるにつれて大きくなる。
このリソースのオーバーヘッドは、バッチサイズが大きい個々の更新と同じ方法でアグリゲート更新に対する攻撃を処理するすべての以前の作業において、誤った視点によって引き起こされていることを示す。
代わりに、アグリゲーションが複数の個別の更新を組み合わせるという観点から更新を攻撃することにより、リソースオーバーヘッドを軽減するためにスパーシティの応用が可能になる。
その結果、sparsityの使用により、モデルサイズオーバーヘッドを327$\times$以上削減でき、計算時間はsotaと比較して3.34$\times$となる。
関連論文リスト
- Heterogeneity-Aware Coordination for Federated Learning via Stitching Pre-trained blocks [5.621750660969172]
フェデレートラーニング(FL)は複数のデバイスをコーディネートして、データのプライバシを保持しながら共有モデルを協調的にトレーニングする。
我々は,事前学習ブロックを用いた不均一なフェデレーション学習のための階層的協調フレームワークであるFedStitchを提案する。
論文 参考訳（メタデータ） (2024-09-11T11:47:50Z) - High-Dimensional Distributed Sparse Classification with Scalable Communication-Efficient Global Updates [50.406127962933915]
我々はコミュニケーション効率のよい分散ロジスティック回帰モデルを学ぶことができる問題に対する解決策を開発する。
実験では、いくつかの分散更新ステップだけで、分散アルゴリズムよりも精度が大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-07-08T19:34:39Z) - LOKI: Large-scale Data Reconstruction Attack against Federated Learning
through Model Manipulation [25.03733882637947]
従来の制限を克服し,アグリゲーションの匿名性を破る攻撃であるLOKIを導入する。
FedAVGと100のクライアントの集約により、以前の作業はMNIST、CIFAR-100、Tiny ImageNetのイメージの1%未満をリークすることができる。
LOKIは1回のトレーニングラウンドのみを使用して、すべてのデータサンプルの76～86%をリークすることができる。
論文 参考訳（メタデータ） (2023-03-21T23:29:35Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳（メタデータ） (2023-03-07T14:11:01Z) - Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。
FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。
本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
論文 参考訳（メタデータ） (2022-05-22T15:13:23Z) - TOFU: Towards Obfuscated Federated Updates by Encoding Weight Updates
into Gradients from Proxy Data [7.489265323050362]
本稿では,各クライアントの重み更新を勾配でエンコードするプロキシデータを生成する新しいアルゴリズムTOFUを提案する。
ToFUは、MNISTおよびCIFAR-10データセット上で、1%未満の精度低下と7%の精度低下で学習を可能にする。
これにより、標準的なフェデレート平均化アルゴリズムよりも4倍と6.6倍の通信効率で、フェデレートされた設定で精度をほぼフルにすることができる。
論文 参考訳（メタデータ） (2022-01-21T00:25:42Z) - Robbing the Fed: Directly Obtaining Private Data in Federated Learning
with Modified Models [56.0250919557652]
フェデレーション学習は、ユーザーのプライバシーと効率を高めるという約束で急速に人気を集めている。
ユーザプライバシに対する以前の攻撃はスコープが限られており、少数のデータポイントに集約されたグラデーション更新にはスケールしない。
共有モデルアーキテクチャの最小限ではあるが悪意のある変更に基づく新しい脅威モデルを導入する。
論文 参考訳（メタデータ） (2021-10-25T15:52:06Z) - FEDZIP: A Compression Framework for Communication-Efficient Federated
Learning [2.334824705384299]
Federated Learningは、無線デバイスのための分散機械学習の実装である。
各クライアントに独立して学習プロセスを割り当てる。
本稿では,クライアントとサーバ間のディープラーニングモデルから重みを転送しながら,更新サイズを大幅に削減する新しいフレームワークであるFedZipを提案する。
論文 参考訳（メタデータ） (2021-02-02T16:33:44Z) - Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。
提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。
各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文 参考訳（メタデータ） (2020-12-31T18:52:08Z) - Sparse Communication for Training Deep Networks [56.441077560085475]
同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。
このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。
いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
論文 参考訳（メタデータ） (2020-09-19T17:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。