論文の概要: Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients

• arxiv url: http://arxiv.org/abs/2406.01439v1
• Date: Mon, 3 Jun 2024 15:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-05 22:20:28.001572
• Title: Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients
• Title（参考訳）: 地理的分散クライアントのための非同期マルチサーバフェデレーション学習
• Authors: Yuncong Zuo, Bart Cox, Jérémie Decouchant, Lydia Y. Chen,
• Abstract要約: フェデレートラーニング(FL)システムは、複数のクライアントが単一のサーバで中間モデルの重みを同期的に交換することで、機械学習モデルを反復的にトレーニングすることができる。 このようなFLシステムのスケーラビリティは、同期通信によるサーバアイドル時間と、ひとつのサーバがボトルネックになるリスクの2つの要因によって制限することができる。 本稿では,完全に非同期な新しいFLアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 4.6792910030704515
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated learning (FL) systems enable multiple clients to train a machine learning model iteratively through synchronously exchanging the intermediate model weights with a single server. The scalability of such FL systems can be limited by two factors: server idle time due to synchronous communication and the risk of a single server becoming the bottleneck. In this paper, we propose a new FL architecture, to our knowledge, the first multi-server FL system that is entirely asynchronous, and therefore addresses these two limitations simultaneously. Our solution keeps both servers and clients continuously active. As in previous multi-server methods, clients interact solely with their nearest server, ensuring efficient update integration into the model. Differently, however, servers also periodically update each other asynchronously, and never postpone interactions with clients. We compare our solution to three representative baselines - FedAvg, FedAsync and HierFAVG - on the MNIST and CIFAR-10 image classification datasets and on the WikiText-2 language modeling dataset. Our solution converges to similar or higher accuracy levels than previous baselines and requires 61% less time to do so in geo-distributed settings.
• Abstract（参考訳）: フェデレートラーニング(FL)システムは、複数のクライアントが単一のサーバで中間モデルの重みを同期的に交換することで、機械学習モデルを反復的にトレーニングすることができる。 このようなFLシステムのスケーラビリティは、同期通信によるサーバアイドル時間と、ひとつのサーバがボトルネックになるリスクの2つの要因によって制限することができる。 本稿では,完全に非同期な最初のマルチサーバFLシステムであるFLアーキテクチャを提案する。 私たちのソリューションは、サーバとクライアントの両方を継続的にアクティブにします。 従来のマルチサーバメソッドと同様に、クライアントは最も近いサーバとのみ対話し、モデルへの効率的なアップデート統合を保証する。 しかし、異なることに、サーバは定期的に互いに非同期に更新し、クライアントとのやりとりを延期しない。 我々は、MNISTとCIFAR-10の画像分類データセットとWikiText-2言語モデリングデータセットの3つの代表的なベースラインであるFedAvg、FedAsync、HierFAVGを比較した。 我々のソリューションは、以前のベースラインと類似または高い精度レベルに収束し、地理的に分散した設定でそれを行うのに61%の時間を要する。

関連論文リスト

• FedMerge: Federated Personalization via Model Merging [51.12769696559237]
  1つのグローバルモデルでは、非IIDタスクや分散を多くのクライアントに提供するには不十分かもしれない。 我々は、複数のグローバルモデルをマージするだけで、クライアントごとにパーソナライズされたモデルを作成することができる新しいFedMergeのアプローチを提案する。 我々はFedMergeを、さまざまなタスクとデータタイプを持つ異なるドメインに適用した3つの異なる非IID設定で評価する。
  論文  参考訳（メタデータ） (2025-04-09T10:44:14Z)
• Dynamic Allocation Hypernetwork with Adaptive Model Recalibration for Federated Continual Learning [49.508844889242425]
  適応型モデル再構成(FedDAH)を用いた動的アロケーション・ハイパーネットワーク(動的アロケーション・ハイパーネットワーク)の医用領域におけるサーバサイドFCLパターンを提案する。 FedDAHは、クライアント間で異なる動的タスクストリームの下での協調学習を容易にするように設計されている。 バイアス最適化のために,従来のモデルの変更候補を現在のサーバ更新に組み込むために,新しい適応モデル再校正(AMR)を導入する。
  論文  参考訳（メタデータ） (2025-03-25T00:17:47Z)
• Dynamic Allocation Hypernetwork with Adaptive Model Recalibration for FCL [49.508844889242425]
  適応型モデル再校正(textbfFedDAH)を用いた動的アロケーション・ハイパーネットワークの医療領域におけるサーバサイドFCLパターンを提案する。 バイアス最適化のために,従来のモデルの変更候補を現在のサーバ更新に組み込むために,新しい適応モデル再校正(AMR)を導入する。 AMOSデータセットの実験では、異なるタスクストリームを持つサイトの他のFCLメソッドよりもFedDAHの方が優れていることが示されています。
  論文  参考訳（メタデータ） (2025-03-23T13:12:56Z)
• Asynchronous Byzantine Federated Learning [4.6792910030704515]
  フェデレートラーニング(FL)は、地理的に分散した一連のクライアントが、サーバを通じてモデルを集合的に訓練することを可能にする。 私たちのソリューションは、最初のビザンチン耐性および非同期FLアルゴリズムの1つである。 我々は、画像とテキストの両方のデータセットにおける最先端のアルゴリズムと比較して、ソリューションの性能を比較した。
  論文  参考訳（メタデータ） (2024-06-03T15:29:38Z)
• FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
  フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。 本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
  論文  参考訳（メタデータ） (2024-06-01T05:14:20Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
  クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。 クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。 各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
  論文  参考訳（メタデータ） (2023-06-21T17:39:16Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Latency Aware Semi-synchronous Client Selection and Model Aggregation for Wireless Federated Learning [0.6882042556551609]
  Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。 従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。 本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2022-10-19T05:59:22Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Timely Communication in Federated Learning [65.1253801733098]
  我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。 提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。 各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:52:08Z)
• Flow-FL: Data-Driven Federated Learning for Spatio-Temporal Predictions in Multi-Robot Systems [16.887485428725043]
  我々は,フェデレートラーニングフレームワークが,コネクテッドロボットチームの分散データから集合的に学習する方法について述べる。 このフレームワークは通常、データをローカルに収集し、モデルのニューラルネットワーク重みを更新し、グローバルモデルに集約するためにサーバにアップデートを送信する。
  論文  参考訳（メタデータ） (2020-10-16T19:09:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。