論文の概要: Dynamic Attention-based Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2108.05765v1
• Date: Thu, 12 Aug 2021 14:18:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-13 14:22:41.068154
• Title: Dynamic Attention-based Communication-Efficient Federated Learning
• Title（参考訳）: 動的注意に基づくコミュニケーション効率のよい連合学習
• Authors: Zihan Chen, Kai Fong Ernest Chong, Tony Q. S. Quek
• Abstract要約: フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
• 参考スコア（独自算出の注目度）: 85.18941440826309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) offers a solution to train a global machine learning model while still maintaining data privacy, without needing access to data stored locally at the clients. However, FL suffers performance degradation when client data distribution is non-IID, and a longer training duration to combat this degradation may not necessarily be feasible due to communication limitations. To address this challenge, we propose a new adaptive training algorithm $\texttt{AdaFL}$, which comprises two components: (i) an attention-based client selection mechanism for a fairer training scheme among the clients; and (ii) a dynamic fraction method to balance the trade-off between performance stability and communication efficiency. Experimental results show that our $\texttt{AdaFL}$ algorithm outperforms the usual $\texttt{FedAvg}$ algorithm, and can be incorporated to further improve various state-of-the-art FL algorithms, with respect to three aspects: model accuracy, performance stability, and communication efficiency.
• Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントにローカルに保存されたデータにアクセスすることなく、データのプライバシを維持しながら、グローバル機械学習モデルをトレーニングするソリューションを提供する。 しかし、FLはクライアントデータの分散が非IIDである場合に性能劣化に悩まされ、この劣化に対処するための長い訓練期間は通信制限のため必ずしも実現できない。 この課題に対処するために,新しい適応学習アルゴリズムである$\texttt{adafl}$を提案する。これは, (i) クライアント間の公平なトレーニングスキームのための注意に基づくクライアント選択機構, (ii) パフォーマンスの安定性と通信効率のトレードオフをバランスさせる動的分数法である。 実験の結果、我々の$\texttt{adafl}$アルゴリズムは、通常の$\texttt{fedavg}$アルゴリズムよりも優れており、モデル精度、性能安定性、通信効率の3つの側面に関して、様々な最先端flアルゴリズムをさらに改善するために組み込むことができる。

関連論文リスト

• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
  フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。 クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。 本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
  論文  参考訳（メタデータ） (2023-07-29T02:35:37Z)
• DynamicFL: Balancing Communication Dynamics and Client Manipulation for Federated Learning [6.9138560535971605]
  Federated Learning(FL)は、数百万のエッジデバイスにわたる分散データを活用することで、グローバルモデルをトレーニングすることを目的としている。 地理的に分散したエッジデバイスと非常にダイナミックなネットワークが混在していることを考えると、参加するデバイスからすべてのモデル更新を集約すると、FLでは必然的な長期遅延が発生する。 本稿では,クライアント操作戦略を特別に設計した大規模エッジデバイスにおける通信力学とデータ品質を考慮した新しいFLフレームワークであるDynamicFLを提案する。
  論文  参考訳（メタデータ） (2023-07-16T19:09:31Z)
• Efficient Adaptive Federated Optimization of Federated Learning for IoT [0.0]
  本稿では、フェデレート学習(FL)の効率を改善するために、新しい適応型適応型最適化(EAFO)アルゴリズムを提案する。 FLは分散プライバシ保護学習フレームワークで、モデルパラメータを共有することで、IoTデバイスがグローバルモデルをトレーニングできる。 実験の結果,提案したEAFOはより高速に精度を向上できることがわかった。
  論文  参考訳（メタデータ） (2022-06-23T01:49:12Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。