論文の概要: Reconciling Security and Communication Efficiency in Federated Learning
- arxiv url: http://arxiv.org/abs/2207.12779v1
- Date: Tue, 26 Jul 2022 09:52:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-27 12:31:49.704208
- Title: Reconciling Security and Communication Efficiency in Federated Learning
- Title(参考訳): フェデレーション学習におけるセキュリティとコミュニケーションの効率化
- Authors: Karthik Prasad, Sayan Ghosh, Graham Cormode, Ilya Mironov, Ashkan
Yousefpour, Pierre Stock
- Abstract要約: クロスデバイスフェデレーション学習は、ますます人気のある機械学習環境である。
本稿では,クライアント・サーバ間のモデル更新を圧縮する問題を形式化し,解決する。
我々は、セキュアなフェデレートラーニング(Federated Learning)セットアップでLEAFベンチマークの最先端結果を確立し、アップリンク通信において最大40$times$圧縮を行う。
- 参考スコア(独自算出の注目度): 11.653872280157321
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-device Federated Learning is an increasingly popular machine learning
setting to train a model by leveraging a large population of client devices
with high privacy and security guarantees. However, communication efficiency
remains a major bottleneck when scaling federated learning to production
environments, particularly due to bandwidth constraints during uplink
communication. In this paper, we formalize and address the problem of
compressing client-to-server model updates under the Secure Aggregation
primitive, a core component of Federated Learning pipelines that allows the
server to aggregate the client updates without accessing them individually. In
particular, we adapt standard scalar quantization and pruning methods to Secure
Aggregation and propose Secure Indexing, a variant of Secure Aggregation that
supports quantization for extreme compression. We establish state-of-the-art
results on LEAF benchmarks in a secure Federated Learning setup with up to
40$\times$ compression in uplink communication with no meaningful loss in
utility compared to uncompressed baselines.
- Abstract(参考訳): クロスデバイスフェデレーション・ラーニングは、多くのクライアントデバイスを高いプライバシとセキュリティ保証で活用することでモデルをトレーニングするための、ますます人気のある機械学習環境である。
しかし、特にアップリンク通信中の帯域制限のため、本番環境へのフェデレーション学習をスケールする場合、通信効率は依然として大きなボトルネックである。
本稿では,サーバが個別にアクセスすることなくクライアント更新を集約できるようにする,連合学習パイプラインのコアコンポーネントであるsecure aggregate primitiveの下で,クライアント間モデル更新を圧縮する問題を形式化し,対処する。
特に、標準スカラー量子化法とプルーニング法をセキュアアグリゲーションに適用し、極端圧縮のための量子化をサポートするセキュアアグリゲーションの変種であるSecure Indexingを提案する。
我々は,アップリンク通信における最大40$\times$圧縮を,非圧縮ベースラインと比較して有意義な損失を伴わないセキュアなフェデレーション学習環境において,リーフベンチマークの最先端結果を確立する。
関連論文リスト
- ACCESS-FL: Agile Communication and Computation for Efficient Secure Aggregation in Stable Federated Learning Networks [26.002975401820887]
Federated Learning(FL)は、プライバシ対応アプリケーション用に設計された分散学習フレームワークである。
従来のFLは、プレーンモデルのアップデートがサーバに送信されると、機密性の高いクライアントデータを露出するリスクにアプローチする。
GoogleのSecure Aggregation(SecAgg)プロトコルは、二重マスキング技術を使用することで、この脅威に対処する。
通信・計算効率の高いセキュアアグリゲーション手法であるACCESS-FLを提案する。
論文 参考訳(メタデータ) (2024-09-03T09:03:38Z) - Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification [49.66272783945571]
Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。
本稿では,Entity-Wise Top-K Sparsification 戦略に基づく双方向通信効率のFedSを提案する。
論文 参考訳(メタデータ) (2024-06-19T05:26:02Z) - EncCluster: Scalable Functional Encryption in Federated Learning through Weight Clustering and Probabilistic Filters [3.9660142560142067]
フェデレートラーニング(FL)は、アグリゲーションサーバにのみローカルモデルの更新を通信することで、分散デバイス間のモデルトレーニングを可能にする。
FLはモデル更新送信中に推論攻撃に弱いままである。
本稿では、重みクラスタリングによるモデル圧縮と、最近の分散型FEとプライバシ強化データエンコーディングを統合する新しい方法であるEncClusterを提案する。
論文 参考訳(メタデータ) (2024-06-13T14:16:50Z) - FedMPQ: Secure and Communication-Efficient Federated Learning with Multi-codebook Product Quantization [12.83265009728818]
本稿では,フェデレート学習のための新しいアップリンク通信圧縮手法であるFedMPQを提案する。
従来の研究とは対照的に,本手法では,データが独立かつ同一に分散されていないシナリオにおいて,より堅牢性を示す。
LEAFデータセットを用いて実験を行った結果,提案手法はベースラインの最終精度の99%を達成できた。
論文 参考訳(メタデータ) (2024-04-21T08:27:36Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳(メタデータ) (2024-02-06T07:25:21Z) - Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-29T07:04:48Z) - FedDBL: Communication and Data Efficient Federated Deep-Broad Learning
for Histopathological Tissue Classification [65.7405397206767]
本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。
FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。
異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
論文 参考訳(メタデータ) (2023-02-24T14:27:41Z) - SoteriaFL: A Unified Framework for Private Federated Learning with
Communication Compression [40.646108010388986]
本稿では,コミュニケーション圧縮によるプライベート・フェデレーション学習のコミュニケーション効率を向上させる統一フレームワークを提案する。
プライバシ、ユーティリティ、通信の複雑さの観点から、パフォーマンストレードオフを包括的に評価する。
論文 参考訳(メタデータ) (2022-06-20T16:47:58Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:53:05Z) - RoFL: Attestable Robustness for Secure Federated Learning [59.63865074749391]
フェデレートラーニング(Federated Learning)により、多数のクライアントが、プライベートデータを共有することなく、ジョイントモデルをトレーニングできる。
クライアントのアップデートの機密性を保証するため、フェデレートラーニングシステムはセキュアなアグリゲーションを採用している。
悪意のあるクライアントに対する堅牢性を向上させるセキュアなフェデレート学習システムであるRoFLを提案する。
論文 参考訳(メタデータ) (2021-07-07T15:42:49Z) - Byzantine-robust Federated Learning through Spatial-temporal Analysis of
Local Model Updates [6.758334200305236]
フェデレートラーニング(FL)は、複数の分散クライアント(モバイルデバイスなど)が、クライアントにローカルにトレーニングデータを保持しながら、協調的に集中的なモデルをトレーニングすることを可能にする。
本稿では,これらの障害と攻撃を空間的・時間的観点から緩和することを提案する。
具体的には、パラメータ空間におけるそれらの幾何学的性質を活用することにより、不正な更新を検出し、排除するためにクラスタリングに基づく手法を用いる。
論文 参考訳(メタデータ) (2021-07-03T18:48:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。