Fugu-MT 論文翻訳(概要): Delay Sensitive Hierarchical Federated Learning with Stochastic Local Updates

論文の概要: Delay Sensitive Hierarchical Federated Learning with Stochastic Local Updates

arxiv url: http://arxiv.org/abs/2302.04851v2
Date: Wed, 15 Jan 2025 18:45:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-16 16:46:27.975044
Title: Delay Sensitive Hierarchical Federated Learning with Stochastic Local Updates
Title（参考訳）: 確率的局所更新を用いた遅延型階層的フェデレーション学習
Authors: Abdulmoneam Ali, Ahmed Arafa,
Abstract要約: 通信遅延の有無で,局所平均化がフェデレート学習(FL)システムの性能に及ぼす影響について検討した。遅延の影響を最小限に抑えるため、クライアントは異なるグループに割り当てられ、それぞれがクライアントのモデルを集約する独自のローカルパラメータサーバ(LPS)を持つ。グループのモデルは、LPSとのみ通信するグローバルパラメータサーバ(GPS)に集約される。
参考スコア（独自算出の注目度）: 8.37314799155978
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The impact of local averaging on the performance of federated learning (FL) systems is studied in the presence of communication delay between the clients and the parameter server. To minimize the effect of delay, clients are assigned into different groups, each having its own local parameter server (LPS) that aggregates its clients' models. The groups' models are then aggregated at a global parameter server (GPS) that only communicates with the LPSs. Such setting is known as hierarchical FL (HFL). Unlike most works in the literature, the number of local and global communication rounds in our work is randomly determined by the (different) delays experienced by each group of clients. Specifically, the number of local averaging rounds is tied to a wall-clock time period coined the sync time $S$, after which the LPSs synchronize their models by sharing them with the GPS. Such sync time $S$ is then reapplied until a global wall-clock time is exhausted. First, an upper bound on the deviation between the updated model at each LPS with respect to that available at the GPS is derived. This is then used as a tool to derive the convergence analysis of our proposed delay-sensitive HFL algorithm, first at each LPS individually, and then at the GPS. Our theoretical convergence bound showcases the effects of the whole system's parameters, including the number of groups, the number of clients per group, and the value of $S$. Our results show that the value of $S$ should be carefully chosen, especially since it implicitly governs how the delay statistics affect the performance of HFL in situations where training time is restricted.
Abstract（参考訳）: クライアントとパラメータサーバ間の通信遅延の存在下で, 局所平均化がフェデレートラーニング(FL)システムの性能に与える影響について検討した。遅延の影響を最小限に抑えるため、クライアントは異なるグループに割り当てられ、それぞれがクライアントのモデルを集約する独自のローカルパラメータサーバ(LPS)を持つ。グループのモデルは、LPSとのみ通信するグローバルパラメータサーバ(GPS)に集約される。このような設定は階層FL (hierarchical FL) として知られている。文献におけるほとんどの研究とは異なり、我々の研究における局所的およびグローバルなコミュニケーションラウンドの数は、各クライアントグループが経験した(異なる)遅延によってランダムに決定される。具体的には、局所平均ラウンドの数は、同期時間$S$というウォールクロック時間に結び付けられ、その後、LPSはGPSと共有することでモデルを同期させる。このような同期時間$S$は、グローバルウォールタイムが終了するまで再適用される。まず、GPSで利用可能なものに対して、各LPSにおける更新モデル間のずれの上限を導出する。この手法は、提案した遅延感度HFLアルゴリズムの収束解析を、まず各LPSで、次にGPSで導出するツールとして使用される。我々の理論収束境界は、グループ数、グループ当たりのクライアント数、および$S$の値を含む、システム全体のパラメータの影響を示す。トレーニング時間を制限する場合,特に遅延統計がHFLの性能に与える影響を暗黙的に支配するので,S$の値は慎重に選択すべきである。

関連論文リスト

Orthogonal Calibration for Asynchronous Federated Learning [29.27216508565338]
非同期フェデレーション学習は、到着した更新を統合することで、従来の同期アグリゲーションの非効率性を緩和する。既存の非同期メソッドは、最新のグローバルウェイトをクライアントに分散するだけで、ローカル進捗を上書きし、モデルドリフトを引き起こすことができる。グローバルな学習とローカルな学習の進歩を分離し、干渉を最小限に抑えるためにグローバルシフトを調整するフレームワークであるOrthoFLを提案する。
論文参考訳（メタデータ） (2025-02-21T21:09:12Z)
Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients [4.6792910030704515]
フェデレートラーニング(FL)システムは、複数のクライアントが単一のサーバで中間モデルの重みを同期的に交換することで、機械学習モデルを反復的にトレーニングすることができる。このようなFLシステムのスケーラビリティは、同期通信によるサーバアイドル時間と、ひとつのサーバがボトルネックになるリスクの2つの要因によって制限することができる。本稿では,完全に非同期な新しいFLアーキテクチャを提案する。
論文参考訳（メタデータ） (2024-06-03T15:29:46Z)
SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
論文参考訳（メタデータ） (2024-06-01T13:10:35Z)
DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
論文参考訳（メタデータ） (2024-03-25T22:49:56Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文参考訳（メタデータ） (2023-11-03T13:34:44Z)
Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
論文参考訳（メタデータ） (2023-06-21T17:39:16Z)
Towards Bias Correction of FedAvg over Nonuniform and Time-Varying Communications [26.597515045714502]
Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
論文参考訳（メタデータ） (2023-06-01T01:52:03Z)
Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach [20.300740276237523]
フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。 FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
論文参考訳（メタデータ） (2023-03-18T09:45:58Z)
DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文参考訳（メタデータ） (2022-11-20T06:13:06Z)
Latency Aware Semi-synchronous Client Selection and Model Aggregation for Wireless Federated Learning [0.6882042556551609]
Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
論文参考訳（メタデータ） (2022-10-19T05:59:22Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Federated Noisy Client Learning [105.00756772827066]
フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
論文参考訳（メタデータ） (2021-06-24T11:09:17Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)
Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文参考訳（メタデータ） (2020-12-31T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。