論文の概要: RingFed: Reducing Communication Costs in Federated Learning on Non-IID
Data
- arxiv url: http://arxiv.org/abs/2107.08873v1
- Date: Mon, 19 Jul 2021 13:43:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-20 19:17:34.727129
- Title: RingFed: Reducing Communication Costs in Federated Learning on Non-IID
Data
- Title（参考訳）: RingFed:IIDデータのフェデレーション学習における通信コスト削減
- Authors: Guang Yang, Ke Mu, Chunhe Song, Zhijia Yang, and Tierui Gong
- Abstract要約: フェデレーション学習は、生データではなくモデルパラメータを交換することで、各クライアントのプライバシを保護するために使用される。
本稿では,連合学習の学習過程における通信オーバーヘッドを低減する新しいフレームワークであるRingFedを提案する。
2つの異なる公開データセットの実験は、RingFedが高速収束、モデル精度、通信コストの低いことを示している。
- 参考スコア（独自算出の注目度）: 3.7416826310878024
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning is a widely used distributed deep learning framework that
protects the privacy of each client by exchanging model parameters rather than
raw data. However, federated learning suffers from high communication costs, as
a considerable number of model parameters need to be transmitted many times
during the training process, making the approach inefficient, especially when
the communication network bandwidth is limited. This article proposes RingFed,
a novel framework to reduce communication overhead during the training process
of federated learning. Rather than transmitting parameters between the center
server and each client, as in original federated learning, in the proposed
RingFed, the updated parameters are transmitted between each client in turn,
and only the final result is transmitted to the central server, thereby
reducing the communication overhead substantially. After several local updates,
clients first send their parameters to another proximal client, not to the
center server directly, to preaggregate. Experiments on two different public
datasets show that RingFed has fast convergence, high model accuracy, and low
communication cost.
- Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、生データではなくモデルパラメータを交換することで、各クライアントのプライバシを保護する分散ディープラーニングフレームワークである。
しかし、フェデレートされた学習は、トレーニングプロセス中にかなりの数のモデルパラメータを何度も送信する必要があるため、特に通信ネットワーク帯域幅が限られている場合、高い通信コストに悩まされる。
本稿では,連合学習の学習過程における通信オーバーヘッドを低減する新しいフレームワークであるRingFedを提案する。
提案したRingFedでは、中央サーバと各クライアント間でパラメータを送信する代わりに、更新されたパラメータを各クライアント間で順番に送信し、最終結果のみを中央サーバに送信することで、通信オーバーヘッドを大幅に削減する。
複数回のローカルアップデートの後、クライアントはまずパラメータをセンターサーバに直接ではなく、別の近距離クライアントに送信し、事前集約する。
2つの異なる公開データセットの実験により、RingFedは高速収束、モデル精度、通信コストの低いことが示されている。
関連論文リスト
- Communication-Efficient Federated Knowledge Graph Embedding with Entity-Wise Top-K Sparsification [49.66272783945571]
Federated Knowledge Graphs Embedding Learning (FKGE)は、パラメータのかなりのサイズと広範なコミュニケーションラウンドから生じるコミュニケーション効率の課題に直面する。
本稿では,Entity-Wise Top-K Sparsification 戦略に基づく双方向通信効率のFedSを提案する。
論文 参考訳（メタデータ） (2024-06-19T05:26:02Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - SalientGrads: Sparse Models for Communication Efficient and Data Aware
Distributed Federated Training [1.0413504599164103]
フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。
FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。
本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
論文 参考訳（メタデータ） (2023-04-15T06:46:37Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳（メタデータ） (2022-06-01T02:20:57Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - FedLite: A Scalable Approach for Federated Learning on
Resource-constrained Clients [41.623518032533035]
スプリットラーニングでは、モデルのごく一部だけがクライアントに格納され、トレーニングされ、残りの部分はサーバに留まる。
本稿では,勾配補正法を伴って,新たなクラスタリング方式を用いて付加的な通信を圧縮することにより,この問題に対処する。
論文 参考訳（メタデータ） (2022-01-28T00:09:53Z) - SPATL: Salient Parameter Aggregation and Transfer Learning for
Heterogeneous Clients in Federated Learning [3.5394650810262336]
効率的なフェデレーション学習は、エッジデバイス上でAIモデルをトレーニングしデプロイする上で重要な課題の1つだ。
フェデレーション学習におけるデータのプライバシの維持は、データの均一性、高価な通信コスト、限られたリソースなど、いくつかの課題を引き起こす。
本稿では,ローカルクライアントの深層強化学習に基づく有能なパラメータ選択エージェントを提案し,選択した有能なパラメータを中央サーバに集約する。
論文 参考訳（メタデータ） (2021-11-29T06:28:05Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z) - Coded Federated Learning [5.375775284252717]
フェデレートラーニング(Federated Learning)とは、クライアントデバイスに分散した分散データからグローバルモデルをトレーニングする手法である。
この結果から,CFLでは,符号化されていない手法に比べて,大域的モデルを約4倍の速度で収束させることができることがわかった。
論文 参考訳（メタデータ） (2020-02-21T23:06:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。