論文の概要: Turbo-Aggregate: Breaking the Quadratic Aggregation Barrier in Secure
Federated Learning
- arxiv url: http://arxiv.org/abs/2002.04156v3
- Date: Sat, 20 Feb 2021 20:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 02:12:53.357927
- Title: Turbo-Aggregate: Breaking the Quadratic Aggregation Barrier in Secure
Federated Learning
- Title（参考訳）: turbo-aggregate:安全な連合学習における二次凝集障壁を破る
- Authors: Jinhyun So, Basak Guler, and A. Salman Avestimehr
- Abstract要約: 多くのユーザにフェデレーション学習を拡大する上で大きなボトルネックは、多くのユーザを対象としたセキュアなモデルアグリゲーションのオーバーヘッドである。
本稿では,Turbo-Aggregateという,O(NlogN)$の安全なアグリゲーションオーバヘッドを実現するための,最初のセキュアアグリゲーションフレームワークを提案する。
我々は,Turbo-Aggregateがユーザ数でほぼ直線的に成長する総実行時間を実現し,最大40ドル以上のユーザを持つ最先端プロトコルの高速化を実現することを実験的に実証した。
- 参考スコア（独自算出の注目度）: 2.294014185517203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a distributed framework for training machine learning
models over the data residing at mobile devices, while protecting the privacy
of individual users. A major bottleneck in scaling federated learning to a
large number of users is the overhead of secure model aggregation across many
users. In particular, the overhead of the state-of-the-art protocols for secure
model aggregation grows quadratically with the number of users. In this paper,
we propose the first secure aggregation framework, named Turbo-Aggregate, that
in a network with $N$ users achieves a secure aggregation overhead of
$O(N\log{N})$, as opposed to $O(N^2)$, while tolerating up to a user dropout
rate of $50\%$. Turbo-Aggregate employs a multi-group circular strategy for
efficient model aggregation, and leverages additive secret sharing and novel
coding techniques for injecting aggregation redundancy in order to handle user
dropouts while guaranteeing user privacy. We experimentally demonstrate that
Turbo-Aggregate achieves a total running time that grows almost linear in the
number of users, and provides up to $40\times$ speedup over the
state-of-the-art protocols with up to $N=200$ users. Our experiments also
demonstrate the impact of model size and bandwidth on the performance of
Turbo-Aggregate.
- Abstract（参考訳）: フェデレーション学習(Federated Learning)は、モバイルデバイス上のデータ上で機械学習モデルをトレーニングし、個々のユーザのプライバシを保護する分散フレームワークである。
多数のユーザへのフェデレーション学習のスケールアップにおける大きなボトルネックは、多数のユーザにわたってセキュアなモデルアグリゲーションのオーバーヘッドである。
特に、セキュアなモデルアグリゲーションのための最先端プロトコルのオーバーヘッドは、ユーザ数と2倍に増加する。
本稿では,Turbo-Aggregateという,ユーザが$O(N\log{N})$に対して,$O(N^2)$に対して,$O(N\log{N})$のセキュアアグリゲーションオーバヘッドを実現するネットワーク上で,ユーザドロップアウト率50\%$を許容する,最初のセキュアアグリゲーションフレームワークを提案する。
Turbo-Aggregateは、効率的なモデルアグリゲーションのための多群循環戦略を採用し、ユーザのプライバシを確保しながら、ユーザのドロップアウトを処理するために、アグリゲーション冗長を注入するための追加のシークレット共有と新しいコーディング技術を活用する。
我々は,Turbo-Aggregateがユーザ数でほぼ直線的に成長する総実行時間を実現し,最大40\times$の最先端プロトコルを最大$N=200$のユーザで高速化できることを実験的に実証した。
また, モデルサイズと帯域幅がターボアグリゲーションの性能に及ぼす影響を実証した。
関連論文リスト
- $\mathsf{OPA}$: One-shot Private Aggregation with Single Client Interaction and its Applications to Federated Learning [6.977111770337479]
一発のプライベートアグリゲーション(mathsfOPA$)を導入します。
各クライアントはアグリゲーション毎に1回だけ通信するので、ドロップアウトの管理と動的参加が簡単になる。
$mathsfOPA$は実用的で、最先端のソリューションよりも優れています。
論文 参考訳（メタデータ） (2024-10-29T17:50:11Z) - PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。
送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。
我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文 参考訳（メタデータ） (2024-07-12T03:18:08Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。
FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。
本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
論文 参考訳（メタデータ） (2022-05-22T15:13:23Z) - SwiftAgg: Communication-Efficient and Dropout-Resistant Secure
Aggregation for Federated Learning with Worst-Case Security Guarantees [83.94234859890402]
我々は,フェデレート学習システムのための新しいセキュアアグリゲーションプロトコルSwiftAggを提案する。
中央サーバは、ローカルデータに基づいてトレーニングされた、$N$の分散ユーザのローカルモデルを集約する。
SwiftAggは、セキュリティ上の妥協なしに、通信オーバーヘッドを大幅に削減する。
論文 参考訳（メタデータ） (2022-02-08T22:08:56Z) - LightSecAgg: Rethinking Secure Aggregation in Federated Learning [24.834891926133594]
我々はLightSecAggが最先端プロトコルと同じプライバシとフォールアウト・レジリエンスの保証を実現していることを示す。
また、LightSecAggはトレーニング時間を大幅に短縮し、パフォーマンスが最大で12.7タイムsのベースラインでのパフォーマンス向上を実現しています。
論文 参考訳（メタデータ） (2021-09-29T07:19:27Z) - Privacy Amplification for Federated Learning via User Sampling and
Wireless Aggregation [17.56067859013419]
ユーザサンプリングを用いた無線チャネル上でのフェデレーション学習の問題点について検討する。
本稿では,各ユーザによる個別のランダム参加決定に依拠する個人無線勾配集約方式を提案する。
論文 参考訳（メタデータ） (2021-03-02T18:59:37Z) - FastSecAgg: Scalable Secure Aggregation for Privacy-Preserving Federated
Learning [18.237186837994585]
セキュアアグリゲーション'プロトコルは、サーバがクライアントのモデルをプライバシ保護方法で集約することを可能にする。
FastSecAggは計算と通信の面で効率的であり、クライアントのドロップアウトに対して堅牢である。
論文 参考訳（メタデータ） (2020-09-23T16:49:02Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z) - Robust Aggregation for Federated Learning [37.47208810846432]
フェデレートラーニング(Federated Learning)とは、モバイルデバイス上の分散データから統計モデルの集中的なトレーニングである。
本稿では,一部のデバイスがサーバに不正な更新を送信している場合に,フェデレーション学習を堅牢にするために,ロバストアグリゲーションアプローチを提案する。
論文 参考訳（メタデータ） (2019-12-31T17:24:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。