Fugu-MT 論文翻訳(概要): FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching

論文の概要: FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching

arxiv url: http://arxiv.org/abs/2008.04975v1
Date: Tue, 11 Aug 2020 19:22:48 GMT
ステータス: 処理完了
システム内更新日: 2022-10-31 11:14:14.975869
Title: FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching
Title（参考訳）: FedSKETCH: スケッチによるコミュニケーション効率とプライベートフェデレーション学習
Authors: Farzin Haddadpour, Belhal Karimi, Ping Li, Xiaoyun Li
Abstract要約: コミュニケーションの複雑さとプライバシは、フェデレートラーニングにおける2つの重要な課題である。我々はFedSKETCHとFedSKETCHGATEアルゴリズムを導入し、Federated Learningにおける両方の課題に共同で対処する。
参考スコア（独自算出の注目度）: 33.54413645276686
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Communication complexity and privacy are the two key challenges in Federated Learning where the goal is to perform a distributed learning through a large volume of devices. In this work, we introduce FedSKETCH and FedSKETCHGATE algorithms to address both challenges in Federated learning jointly, where these algorithms are intended to be used for homogeneous and heterogeneous data distribution settings respectively. The key idea is to compress the accumulation of local gradients using count sketch, therefore, the server does not have access to the gradients themselves which provides privacy. Furthermore, due to the lower dimension of sketching used, our method exhibits communication-efficiency property as well. We provide, for the aforementioned schemes, sharp convergence guarantees. Finally, we back up our theory with various set of experiments.
Abstract（参考訳）: コミュニケーションの複雑さとプライバシは、多数のデバイスを通じて分散学習を行うことを目標とする、連合学習における2つの重要な課題である。本研究では,federated learningにおける2つの課題を解決するためにfedsketchアルゴリズムとfeedsketchgateアルゴリズムを導入する。重要なアイデアは、カウントスケッチを使って局所的な勾配の蓄積を圧縮することであり、したがって、サーバはプライバシを提供する勾配自身にアクセスできない。さらに,スケッチの低次元化により,通信効率も向上した。上記のスキームに対して、鋭い収束保証を提供する。最後に、我々は様々な実験で理論を裏付ける。

関連論文リスト

Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
論文参考訳（メタデータ） (2024-09-22T00:49:10Z)
An Empirical Study of Efficiency and Privacy of Federated Learning Algorithms [2.994794762377111]
今日の世界では、IoTネットワークの急速な拡大とスマートデバイスの普及により、相当量の異種データが生成される。このデータを効果的に扱うためには、プライバシーと効率の両立を保証するために高度なデータ処理技術が必要である。フェデレーション学習は、モデルをローカルにトレーニングし、データをプライバシを保存するためにサーバに集約する分散学習手法として登場した。
論文参考訳（メタデータ） (2023-12-24T00:13:41Z)
Federated Compositional Deep AUC Maximization [58.25078060952361]
本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
論文参考訳（メタデータ） (2023-04-20T05:49:41Z)
SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression [40.646108010388986]
本稿では,コミュニケーション圧縮によるプライベート・フェデレーション学習のコミュニケーション効率を向上させる統一フレームワークを提案する。プライバシ、ユーティリティ、通信の複雑さの観点から、パフォーマンストレードオフを包括的に評価する。
論文参考訳（メタデータ） (2022-06-20T16:47:58Z)
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文参考訳（メタデータ） (2022-05-19T03:32:03Z)
Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文参考訳（メタデータ） (2021-12-12T06:11:16Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Differentially Private Federated Learning on Heterogeneous Data [10.431137628048356]
フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。 i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
論文参考訳（メタデータ） (2021-11-17T18:23:49Z)
Communication-Computation Efficient Secure Aggregation for Federated Learning [23.924656276456503]
フェデレーションラーニングは、ノードがデータを共有せずに、複数のノードに分散したデータを使用してニューラルネットワークを訓練する方法です。セキュアアグリゲーションプリミティブに基づく最近のソリューションでは,プライバシ保護型のフェデレーション学習が可能だったが,通信/計算リソースが大幅に増加した。通信・計算資源の量を大幅に削減する通信・計算効率のよいセキュアアグリゲーションを提案する。
論文参考訳（メタデータ） (2020-12-10T03:17:50Z)
Second-Order Guarantees in Federated Learning [49.17137296715029]
フェデレーション学習は,分散データからの集中学習として有用なものだ。本稿では,集中型および分散型設定における2次最適性アルゴリズムについて述べる。
論文参考訳（メタデータ） (2020-12-02T19:30:08Z)
A Theoretical Perspective on Differentially Private Federated Multi-task Learning [12.935153199667987]
プライバシーとユーティリティの両方に関して、協調学習モデルを開発する必要がある。本稿では,クライアントレベルで保護する効果的なパラメータ転送差分プライバシーのための,新しいフェデレーションマルチタスクを提案する。このような提案されたアルゴリズムに対して、プライバシユーティリティの両方の保証を提供するのは、当社が初めてです。
論文参考訳（メタデータ） (2020-11-14T00:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。