論文の概要: Delay Sensitive Hierarchical Federated Learning with Stochastic Local Updates

• arxiv url: http://arxiv.org/abs/2302.04851v1
• Date: Thu, 9 Feb 2023 18:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-02-10 14:40:27.301584
• Title: Delay Sensitive Hierarchical Federated Learning with Stochastic Local Updates
• Title（参考訳）: 確率的局所更新を用いた遅延型階層型学習
• Authors: Abdulmoneam Ali, Ahmed Arafa
• Abstract要約: クライアントとパラメータサーバ間の通信遅延が存在する場合の局所平均化について検討した。 ローカル平均ラウンドの数は、同期時間$S$というウォールクロック時間に結び付けられ、その後、LPSはGPSと共有することでモデルを同期させる。
• 参考スコア（独自算出の注目度）: 14.955130562831924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The impact of local averaging on the performance of federated learning (FL) systems is studied in the presence of communication delay between the clients and the parameter server. To minimize the effect of delay, clients are assigned into different groups, each having its own local parameter server (LPS) that aggregates its clients' models. The groups' models are then aggregated at a global parameter server (GPS) that only communicates with the LPSs. Such setting is known as hierarchical FL (HFL). Different from most works in the literature, the number of local and global communication rounds in our work is randomly determined by the (different) delays experienced by each group of clients. Specifically, the number of local averaging rounds are tied to a wall-clock time period coined the sync time $S$, after which the LPSs synchronize their models by sharing them with the GPS. Such sync time $S$ is then reapplied until a global wall-clock time is exhausted.
• Abstract（参考訳）: クライアントとパラメータサーバ間の通信遅延が存在する場合,局所平均化がフェデレーション学習(fl)システムの性能に及ぼす影響について検討した。 遅延の影響を最小限に抑えるため、クライアントは異なるグループに割り当てられ、それぞれがクライアントのモデルを集約する独自のローカルパラメータサーバ(LPS)を持つ。 グループのモデルは、LPSとのみ通信するグローバルパラメータサーバ(GPS)に集約される。 このような設定は階層FL (hierarchical FL) として知られている。 文献のほとんどの作品とは異なり、我々の作品における局所的およびグローバル的コミュニケーションラウンドの数は、各クライアントが経験する(異なる)遅延によってランダムに決定されます。 具体的には、局所平均ラウンドの数は、同期時間$S$というウォールクロック時間に結び付けられ、その後、LPSはGPSと共有することでモデルを同期させる。 このような同期時間$S$は、グローバルウォールタイムが終了するまで再適用される。

関連論文リスト

• Orthogonal Calibration for Asynchronous Federated Learning [29.27216508565338]
  非同期フェデレーション学習は、到着した更新を統合することで、従来の同期アグリゲーションの非効率性を緩和する。 既存の非同期メソッドは、最新のグローバルウェイトをクライアントに分散するだけで、ローカル進捗を上書きし、モデルドリフトを引き起こすことができる。 グローバルな学習とローカルな学習の進歩を分離し、干渉を最小限に抑えるためにグローバルシフトを調整するフレームワークであるOrthoFLを提案する。
  論文  参考訳（メタデータ） (2025-02-21T21:09:12Z)
• Asynchronous Multi-Server Federated Learning for Geo-Distributed Clients [4.6792910030704515]
  フェデレートラーニング(FL)システムは、複数のクライアントが単一のサーバで中間モデルの重みを同期的に交換することで、機械学習モデルを反復的にトレーニングすることができる。 このようなFLシステムのスケーラビリティは、同期通信によるサーバアイドル時間と、ひとつのサーバがボトルネックになるリスクの2つの要因によって制限することができる。 本稿では,完全に非同期な新しいFLアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:29:46Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
  クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。 クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。 各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
  論文  参考訳（メタデータ） (2023-06-21T17:39:16Z)
• Towards Bias Correction of FedAvg over Nonuniform and Time-Varying Communications [26.597515045714502]
  Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。 チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
  論文  参考訳（メタデータ） (2023-06-01T01:52:03Z)
• Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach [20.300740276237523]
  フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。 FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-03-18T09:45:58Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)
• Latency Aware Semi-synchronous Client Selection and Model Aggregation for Wireless Federated Learning [0.6882042556551609]
  Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。 従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。 本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2022-10-19T05:59:22Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Federated Noisy Client Learning [105.00756772827066]
  フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。 標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。 本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
  論文  参考訳（メタデータ） (2021-06-24T11:09:17Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Timely Communication in Federated Learning [65.1253801733098]
  我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。 提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。 各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。