Fugu-MT 論文翻訳(概要): Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations

論文の概要: Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations

arxiv url: http://arxiv.org/abs/2405.06993v1
Date: Sat, 11 May 2024 11:55:26 GMT
ステータス: 処理完了
システム内更新日: 2024-05-14 18:57:41.852440
Title: Robust Model Aggregation for Heterogeneous Federated Learning: Analysis and Optimizations
Title（参考訳）: 不均一なフェデレーション学習のためのロバストモデルアグリゲーション:分析と最適化
Authors: Yumeng Shao, Jun Li, Long Shi, Kang Wei, Ming Ding, Qianmu Li, Zengxiang Li, Wen Chen, Shi Jin,
Abstract要約: 異種システムのための時間駆動型SFL(T-SFL)フレームワークを提案する。 T-SFLの学習性能を評価するため,大域的損失関数の上限を提供する。本研究では,所定のしきい値以下に反復回数が減少するクライアントから局所モデルを除去する識別モデル選択アルゴリズムを開発する。
参考スコア（独自算出の注目度）: 35.58487905412915
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Conventional synchronous federated learning (SFL) frameworks suffer from performance degradation in heterogeneous systems due to imbalanced local data size and diverse computing power on the client side. To address this problem, asynchronous FL (AFL) and semi-asynchronous FL have been proposed to recover the performance loss by allowing asynchronous aggregation. However, asynchronous aggregation incurs a new problem of inconsistency between local updates and global updates. Motivated by the issues of conventional SFL and AFL, we first propose a time-driven SFL (T-SFL) framework for heterogeneous systems. The core idea of T-SFL is that the server aggregates the models from different clients, each with varying numbers of iterations, at regular time intervals. To evaluate the learning performance of T-SFL, we provide an upper bound on the global loss function. Further, we optimize the aggregation weights to minimize the developed upper bound. Then, we develop a discriminative model selection (DMS) algorithm that removes local models from clients whose number of iterations falls below a predetermined threshold. In particular, this algorithm ensures that each client's aggregation weight accurately reflects its true contribution to the global model update, thereby improving the efficiency and robustness of the system. To validate the effectiveness of T-SFL with the DMS algorithm, we conduct extensive experiments using several popular datasets including MNIST, Cifar-10, Fashion-MNIST, and SVHN. The experimental results demonstrate that T-SFL with the DMS algorithm can reduce the latency of conventional SFL by 50\%, while achieving an average 3\% improvement in learning accuracy over state-of-the-art AFL algorithms.
Abstract（参考訳）: 従来の同期フェデレーション学習(SFL)フレームワークは、不均衡なローカルデータサイズとクライアント側の多様な計算能力により、異種システムの性能劣化に悩まされる。この問題に対処するため,非同期アグリゲーションによって性能損失を回復するために,非同期FL(AFL)と半非同期FLが提案されている。しかし、非同期アグリゲーションは、ローカル更新とグローバルアップデートの一貫性の新たな問題を引き起こす。従来のSFLとAFLの問題に触発されて、異種システムのための時間駆動型SFL(T-SFL)フレームワークを最初に提案する。 T-SFLの中核となる考え方は、サーバが異なるクライアントからモデルを集約し、各クライアントは定期的な時間間隔で様々な回数のイテレーションを行う、というものである。 T-SFLの学習性能を評価するため,大域的損失関数の上限を提供する。さらに,発達した上界を最小化するために,アグリゲーション重みを最適化する。そこで本研究では,反復回数が所定の閾値未満のクライアントから局所モデルを除去する識別モデル選択(DMS)アルゴリズムを開発した。特に、このアルゴリズムは、各クライアントの集約重みがグローバルモデル更新への真の貢献を正確に反映することを保証し、システムの効率性と堅牢性を向上させる。 DMSアルゴリズムによるT-SFLの有効性を検証するため、MNIST、Cifar-10、Fashion-MNIST、SVHNなどの一般的なデータセットを用いて広範な実験を行った。実験により,DMSアルゴリズムを用いたT-SFLは,最先端のAFLアルゴリズムよりも平均3倍の学習精度を達成しつつ,従来のSFLのレイテンシを50%削減できることが示された。

関連論文リスト

Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
AdaptSFL: Adaptive Split Federated Learning in Resource-constrained Edge Networks [15.195798715517315]
Split Federated Learning(SFL)は、モデルのパーティショニングを通じて、最初のトレーニングワークロードをサーバにfloadする、有望なソリューションである。本稿では,資源制約付きエッジコンピューティングシステムにおいて,SFLを高速化するための新しいリソース適応型SFLフレームワークであるAdaptSFLを提案する。
論文参考訳（メタデータ） (2024-03-19T19:05:24Z)
Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文参考訳（メタデータ） (2023-11-03T13:34:44Z)
Delay-Aware Hierarchical Federated Learning [7.292078085289465]
本稿では,分散機械学習(ML)モデルの学習効率を向上させるために,遅延認識型階層型学習(DFL)を提案する。グローバル同期の間、クラウドサーバは、凸制御アルゴリズムを使用して、ローカルモデルを時代遅れのグローバルモデルと統合する。数値評価により、DFLの高速グローバルモデル、収束資源の削減、通信遅延に対する評価において優れた性能を示す。
論文参考訳（メタデータ） (2023-03-22T09:23:29Z)
Hierarchical Personalized Federated Learning Over Massive Mobile Edge Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。 HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文参考訳（メタデータ） (2023-03-19T06:00:05Z)
Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文参考訳（メタデータ） (2023-01-26T08:13:22Z)
Semi-Synchronous Personalized Federated Learning over Mobile Edge Networks [88.50555581186799]
我々は,モバイルエッジネットワーク上での半同期パーソナライズフェデレーション(PerFedS$2$)と呼ばれる半同期PFLアルゴリズムを提案する。我々は、グローバルラウンド当たりの参加者数とラウンド数の観点から、PerFedS2の収束率の上限を導出する。 PerFedS2はトレーニング時間を節約し、トレーニング損失の収束を保証する。
論文参考訳（メタデータ） (2022-09-27T02:12:43Z)
Time-triggered Federated Learning over Wireless Networks [48.389824560183776]
無線ネットワーク上での時系列FLアルゴリズム(TT-Fed)を提案する。提案したTT-Fedアルゴリズムは, それぞれ最大12.5%, 5%の収束試験精度を向上する。
論文参考訳（メタデータ） (2022-04-26T16:37:29Z)
Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
論文参考訳（メタデータ） (2021-02-12T02:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。