論文の概要: Delay Sensitive Hierarchical Federated Learning with Stochastic Local Updates

• arxiv url: http://arxiv.org/abs/2302.04851v1
• Date: Thu, 9 Feb 2023 18:54:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 14:40:27.301584
• Title: Delay Sensitive Hierarchical Federated Learning with Stochastic Local Updates
• Title（参考訳）: 確率的局所更新を用いた遅延型階層型学習
• Authors: Abdulmoneam Ali, Ahmed Arafa
• Abstract要約: クライアントとパラメータサーバ間の通信遅延が存在する場合の局所平均化について検討した。 ローカル平均ラウンドの数は、同期時間$S$というウォールクロック時間に結び付けられ、その後、LPSはGPSと共有することでモデルを同期させる。
• 参考スコア（独自算出の注目度）: 14.955130562831924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The impact of local averaging on the performance of federated learning (FL) systems is studied in the presence of communication delay between the clients and the parameter server. To minimize the effect of delay, clients are assigned into different groups, each having its own local parameter server (LPS) that aggregates its clients' models. The groups' models are then aggregated at a global parameter server (GPS) that only communicates with the LPSs. Such setting is known as hierarchical FL (HFL). Different from most works in the literature, the number of local and global communication rounds in our work is randomly determined by the (different) delays experienced by each group of clients. Specifically, the number of local averaging rounds are tied to a wall-clock time period coined the sync time $S$, after which the LPSs synchronize their models by sharing them with the GPS. Such sync time $S$ is then reapplied until a global wall-clock time is exhausted.
• Abstract（参考訳）: クライアントとパラメータサーバ間の通信遅延が存在する場合,局所平均化がフェデレーション学習(fl)システムの性能に及ぼす影響について検討した。 遅延の影響を最小限に抑えるため、クライアントは異なるグループに割り当てられ、それぞれがクライアントのモデルを集約する独自のローカルパラメータサーバ(LPS)を持つ。 グループのモデルは、LPSとのみ通信するグローバルパラメータサーバ(GPS)に集約される。 このような設定は階層FL (hierarchical FL) として知られている。 文献のほとんどの作品とは異なり、我々の作品における局所的およびグローバル的コミュニケーションラウンドの数は、各クライアントが経験する(異なる)遅延によってランダムに決定されます。 具体的には、局所平均ラウンドの数は、同期時間$S$というウォールクロック時間に結び付けられ、その後、LPSはGPSと共有することでモデルを同期させる。 このような同期時間$S$は、グローバルウォールタイムが終了するまで再適用される。

関連論文リスト

• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
  クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。 クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。 各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
  論文  参考訳（メタデータ） (2023-06-21T17:39:16Z)
• Towards Bias Correction of FedAvg over Nonuniform and Time-Varying Communications [26.597515045714502]
  Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。 チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
  論文  参考訳（メタデータ） (2023-06-01T01:52:03Z)
• Latency Aware Semi-synchronous Client Selection and Model Aggregation for Wireless Federated Learning [0.6882042556551609]
  Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。 従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。 本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2022-10-19T05:59:22Z)
• Over-the-Air Federated Edge Learning with Hierarchical Clustering [21.51594138166343]
  OTA(Over-the-air)アグリゲーションでは、パラメータサーバ(PS)の助けを借りて、モバイルユーザ(MU)がグローバルモデルに関するコンセンサスに到達することを目標としている。 OTA FLでは、MUはトレーニングラウンド毎にローカルデータを使用してモデルをトレーニングし、同じ周波数帯域を非符号化で同時に送信する。 OTA FLは通信コストが大幅に削減されているが、チャネル効果やノイズの影響を受けやすい。 我々は、中間サーバ(IS)を用いてMUがより密集した場所にクラスタを形成する無線ベースの階層FLスキームを提案する。
  論文  参考訳（メタデータ） (2022-07-19T12:42:12Z)
• Timely Communication in Federated Learning [65.1253801733098]
  我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。 提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。 各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。