論文の概要: Asyn2F: An Asynchronous Federated Learning Framework with Bidirectional Model Aggregation

• arxiv url: http://arxiv.org/abs/2403.01417v1
• Date: Sun, 3 Mar 2024 07:12:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-03-06 21:37:22.650219
• Title: Asyn2F: An Asynchronous Federated Learning Framework with Bidirectional Model Aggregation
• Title（参考訳）: Asyn2F: 双方向モデル集約による非同期フェデレーション学習フレームワーク
• Authors: Tien-Dung Cao, Nguyen T. Vuong, Thai Q. Le, Hoang V.N. Dao, Tram Truong-Huu
• Abstract要約: 双方向モデルアグリゲーションを備えた非同期フェデレーション学習フレームワークAsyn2Fを開発した。 双方向モデルアグリゲーションにより、Asyn2Fはサーバが複数のローカルモデルを非同期に集約し、結果として新しいグローバルモデルが得られる。 一方、トレーニング作業者は、グローバルモデルの新バージョンをローカルモデルに集約することができる。
• 参考スコア（独自算出の注目度）: 0.6437261616511725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In federated learning, the models can be trained synchronously or asynchronously. Many research works have focused on developing an aggregation method for the server to aggregate multiple local models into the global model with improved performance. They ignore the heterogeneity of the training workers, which causes the delay in the training of the local models, leading to the obsolete information issue. In this paper, we design and develop Asyn2F, an Asynchronous Federated learning Framework with bidirectional model aggregation. By bidirectional model aggregation, Asyn2F, on one hand, allows the server to asynchronously aggregate multiple local models and results in a new global model. On the other hand, it allows the training workers to aggregate the new version of the global model into the local model, which is being trained even in the middle of a training epoch. We develop Asyn2F considering the practical implementation requirements such as using cloud services for model storage and message queuing protocols for communications. Extensive experiments with different datasets show that the models trained by Asyn2F achieve higher performance compared to the state-of-the-art techniques. The experiments also demonstrate the effectiveness, practicality, and scalability of Asyn2F, making it ready for deployment in real scenarios.
• Abstract（参考訳）: フェデレーション学習では、モデルを同期あるいは非同期にトレーニングすることができる。 多くの研究は、サーバが複数のローカルモデルをグローバルモデルに集約し、性能を向上させるアグリゲーション手法の開発に注力してきた。 彼らはトレーニングワーカーの多様性を無視し、ローカルモデルのトレーニングが遅れる原因となり、時代遅れの情報問題に繋がる。 本稿では,双方向モデル集約型非同期フェデレーション学習フレームワークasyn2fの設計と開発を行う。 双方向モデルアグリゲーションにより、Asyn2Fはサーバが複数のローカルモデルを非同期に集約し、結果として新しいグローバルモデルが得られる。 一方で、トレーニングワーカーがグローバルモデルの新バージョンをローカルモデルに集約することも可能だ。 本稿では,クラウドサービスをモデルストレージに,メッセージキュープロトコルを通信に使用するなど,実用的な実装要件を考慮したAsyn2Fを開発した。 異なるデータセットを用いた広範囲な実験により、asyn2fがトレーニングしたモデルは最先端の技術よりも高いパフォーマンスを達成していることが示された。 実験はまた、asyn2fの有効性、実用性、スケーラビリティを実証し、実際のシナリオでのデプロイの準備を整えた。

関連論文リスト

• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Enhancing One-Shot Federated Learning Through Data and Ensemble Co-Boosting [76.64235084279292]
  ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。 合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
  論文  参考訳（メタデータ） (2024-02-23T03:15:10Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Federated Learning of Models Pre-Trained on Different Features with Consensus Graphs [19.130197923214123]
  プライベートデータセットと分散データセットで効果的なグローバルモデルを学ぶことは、機械学習においてますます重要な課題になりつつある。 本稿では,局所モデルから局所表現を抽出し,それらをグローバル表現に組み込んで予測性能を向上させる特徴融合手法を提案する。 本稿では,これらの問題に対する解決策を提示し,電力網や交通網などの時系列データを用いた実世界の応用例を示す。
  論文  参考訳（メタデータ） (2023-06-02T02:24:27Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• FedSiam-DA: Dual-aggregated Federated Learning via Siamese Network under Non-IID Data [21.95009868875851]
  フェデレートされた学習は、データアイランドに対処できるが、実際のアプリケーションで不均一なデータでトレーニングすることは依然として困難である。 本稿では,新しい二重集約型コントラスト学習手法であるFedSiam-DAを提案する。
  論文  参考訳（メタデータ） (2022-11-17T09:05:25Z)
• Federated Learning with Intermediate Representation Regularization [14.01585596739954]
  フェデレートラーニング(FL)は、リモートクライアントがプライベートデータを公開せずに、協力的にモデルをトレーニングすることを可能にする。 従来の研究では、局所モデルと大域モデルによって学習された表現間の距離を規則化することでこれを達成している。 我々はFedIntRを導入し、中間層の表現を局所的なトレーニングプロセスに統合することで、よりきめ細かい正規化を提供する。
  論文  参考訳（メタデータ） (2022-10-28T01:43:55Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• Flow-FL: Data-Driven Federated Learning for Spatio-Temporal Predictions in Multi-Robot Systems [16.887485428725043]
  我々は,フェデレートラーニングフレームワークが,コネクテッドロボットチームの分散データから集合的に学習する方法について述べる。 このフレームワークは通常、データをローカルに収集し、モデルのニューラルネットワーク重みを更新し、グローバルモデルに集約するためにサーバにアップデートを送信する。
  論文  参考訳（メタデータ） (2020-10-16T19:09:57Z)
• FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
  フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。 したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。 我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-04T01:18:25Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。