論文の概要: Reconciling Security and Communication Efficiency in Federated Learning
- arxiv url: http://arxiv.org/abs/2207.12779v1
- Date: Tue, 26 Jul 2022 09:52:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-27 12:31:49.704208
- Title: Reconciling Security and Communication Efficiency in Federated Learning
- Title(参考訳): フェデレーション学習におけるセキュリティとコミュニケーションの効率化
- Authors: Karthik Prasad, Sayan Ghosh, Graham Cormode, Ilya Mironov, Ashkan
Yousefpour, Pierre Stock
- Abstract要約: クロスデバイスフェデレーション学習は、ますます人気のある機械学習環境である。
本稿では,クライアント・サーバ間のモデル更新を圧縮する問題を形式化し,解決する。
我々は、セキュアなフェデレートラーニング(Federated Learning)セットアップでLEAFベンチマークの最先端結果を確立し、アップリンク通信において最大40$times$圧縮を行う。
- 参考スコア(独自算出の注目度): 11.653872280157321
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-device Federated Learning is an increasingly popular machine learning
setting to train a model by leveraging a large population of client devices
with high privacy and security guarantees. However, communication efficiency
remains a major bottleneck when scaling federated learning to production
environments, particularly due to bandwidth constraints during uplink
communication. In this paper, we formalize and address the problem of
compressing client-to-server model updates under the Secure Aggregation
primitive, a core component of Federated Learning pipelines that allows the
server to aggregate the client updates without accessing them individually. In
particular, we adapt standard scalar quantization and pruning methods to Secure
Aggregation and propose Secure Indexing, a variant of Secure Aggregation that
supports quantization for extreme compression. We establish state-of-the-art
results on LEAF benchmarks in a secure Federated Learning setup with up to
40$\times$ compression in uplink communication with no meaningful loss in
utility compared to uncompressed baselines.
- Abstract(参考訳): クロスデバイスフェデレーション・ラーニングは、多くのクライアントデバイスを高いプライバシとセキュリティ保証で活用することでモデルをトレーニングするための、ますます人気のある機械学習環境である。
しかし、特にアップリンク通信中の帯域制限のため、本番環境へのフェデレーション学習をスケールする場合、通信効率は依然として大きなボトルネックである。
本稿では,サーバが個別にアクセスすることなくクライアント更新を集約できるようにする,連合学習パイプラインのコアコンポーネントであるsecure aggregate primitiveの下で,クライアント間モデル更新を圧縮する問題を形式化し,対処する。
特に、標準スカラー量子化法とプルーニング法をセキュアアグリゲーションに適用し、極端圧縮のための量子化をサポートするセキュアアグリゲーションの変種であるSecure Indexingを提案する。
我々は,アップリンク通信における最大40$\times$圧縮を,非圧縮ベースラインと比較して有意義な損失を伴わないセキュアなフェデレーション学習環境において,リーフベンチマークの最先端結果を確立する。
関連論文リスト
- Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳(メタデータ) (2024-02-06T07:25:21Z) - Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-29T07:04:48Z) - FedDBL: Communication and Data Efficient Federated Deep-Broad Learning
for Histopathological Tissue Classification [65.7405397206767]
本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。
FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。
異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
論文 参考訳(メタデータ) (2023-02-24T14:27:41Z) - Communication and Storage Efficient Federated Split Learning [19.369076939064904]
Federated Split LearningはFLの並列モデルトレーニング原則を保存する。
サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。
本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
論文 参考訳(メタデータ) (2023-02-11T04:44:29Z) - SoteriaFL: A Unified Framework for Private Federated Learning with
Communication Compression [40.646108010388986]
本稿では,コミュニケーション圧縮によるプライベート・フェデレーション学習のコミュニケーション効率を向上させる統一フレームワークを提案する。
プライバシ、ユーティリティ、通信の複雑さの観点から、パフォーマンストレードオフを包括的に評価する。
論文 参考訳(メタデータ) (2022-06-20T16:47:58Z) - Secure Byzantine-Robust Distributed Learning via Clustering [16.85310886805588]
ビザンチンの堅牢性とプライバシを共同で保護するフェデレーション学習システムは、依然としてオープンな問題である。
本研究では,クライアントのプライバシーとロバスト性を同時に保持する分散学習フレームワークであるSHAREを提案する。
論文 参考訳(メタデータ) (2021-10-06T17:40:26Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:53:05Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳(メタデータ) (2021-07-07T15:42:49Z) - Byzantine-robust Federated Learning through Spatial-temporal Analysis of
Local Model Updates [6.758334200305236]
フェデレートラーニング(FL)は、複数の分散クライアント(モバイルデバイスなど)が、クライアントにローカルにトレーニングデータを保持しながら、協調的に集中的なモデルをトレーニングすることを可能にする。
本稿では,これらの障害と攻撃を空間的・時間的観点から緩和することを提案する。
具体的には、パラメータ空間におけるそれらの幾何学的性質を活用することにより、不正な更新を検出し、排除するためにクラスタリングに基づく手法を用いる。
論文 参考訳(メタデータ) (2021-07-03T18:48:11Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z) - Efficient Sparse Secure Aggregation for Federated Learning [0.20052993723676896]
我々は,圧縮に基づくフェデレーション手法を付加的な秘密共有に適用し,効率的なセキュアなアグリゲーションプロトコルを実現する。
悪意のある敵に対するプライバシーの証明と、半正直な設定でその正しさを証明します。
セキュアアグリゲーションに関する従来の研究と比較すると、我々のプロトコルは通信コストが低く、同じ精度で適用可能なコストがかかる。
論文 参考訳(メタデータ) (2020-07-29T14:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。