論文の概要: CAFe: Cost and Age aware Federated Learning

• arxiv url: http://arxiv.org/abs/2405.15744v1
• Date: Fri, 24 May 2024 17:41:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 13:01:17.373442
• Title: CAFe: Cost and Age aware Federated Learning
• Title（参考訳）: CAFe: コストと年齢を考慮したフェデレーションラーニング
• Authors: Sahan Liyanaarachchi, Kanchana Thilakarathna, Sennur Ulukus,
• Abstract要約: 多くのフェデレートドラーニング(FL)モデルでは、N$のクライアントのうち少なくとも$M$のクライアントがローカルな勾配を返送するのを待つことが一般的な戦略である。 我々は、PSにおけるクライアントの平均年齢が理論収束境界に明示的に現れることを示し、従って、大域モデルの収束を定量化するための計量として用いることができる。
• 参考スコア（独自算出の注目度）: 34.16488071014024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many federated learning (FL) models, a common strategy employed to ensure the progress in the training process, is to wait for at least $M$ clients out of the total $N$ clients to send back their local gradients based on a reporting deadline $T$, once the parameter server (PS) has broadcasted the global model. If enough clients do not report back within the deadline, the particular round is considered to be a failed round and the training round is restarted from scratch. If enough clients have responded back, the round is deemed successful and the local gradients of all the clients that responded back are used to update the global model. In either case, the clients that failed to report back an update within the deadline would have wasted their computational resources. Having a tighter deadline (small $T$) and waiting for a larger number of participating clients (large $M$) leads to a large number of failed rounds and therefore greater communication cost and computation resource wastage. However, having a larger $T$ leads to longer round durations whereas smaller $M$ may lead to noisy gradients. Therefore, there is a need to optimize the parameters $M$ and $T$ such that communication cost and the resource wastage is minimized while having an acceptable convergence rate. In this regard, we show that the average age of a client at the PS appears explicitly in the theoretical convergence bound, and therefore, can be used as a metric to quantify the convergence of the global model. We provide an analytical scheme to select the parameters $M$ and $T$ in this setting.
• Abstract（参考訳）: 多くのフェデレーテッドラーニング(FL)モデルでは、トレーニングプロセスの進捗を確実にするために使われる一般的な戦略として、合計$N$クライアントのうち少なくとも$M$クライアントが、パラメータサーバ(PS)がグローバルモデルをブロードキャストすると、レポートの期限である$T$に基づいてローカル勾配を送信するのを待つことである。 期限内に十分なクライアントが報告しなければ、特定のラウンドは失敗ラウンドと見なされ、トレーニングラウンドはゼロから再開されます。 十分な数のクライアントが応答した場合、ラウンドは成功と判断され、応答したすべてのクライアントの局所的な勾配が、グローバルモデル更新に使用される。 いずれにせよ、期限内に更新を報告できなかったクライアントは、計算リソースを浪費していただろう。 より厳密な期限 (小さな$T$) を持ち、より多くの参加クライアント (大きな$M$) を待つと、多数のラウンドが失敗し、通信コストと計算リソースの浪費が増加する。 しかし、より大きい$T$を持つことは長いラウンド期間につながるが、小さい$M$はノイズのある勾配につながる可能性がある。 したがって、パラメータを$M$と$T$で最適化し、通信コストとリソースの無駄を最小化し、許容できる収束率を持つようにする必要がある。 この点において、PSにおけるクライアントの平均年齢は理論収束境界に明示的に現れるので、大域モデルの収束を定量化するための計量として用いることができる。 この設定でパラメータ$M$と$T$を選択するための分析スキームを提供する。

関連論文リスト

• Federated Learning under Periodic Client Participation and Heterogeneous Data: A New Communication-Efficient Algorithm and Analysis [14.98493572536424]
  連合学習では、クライアントが常にトレーニングに参加することができると仮定することが一般的であり、実際にはユーザデバイスでは実現不可能である。 最近のフェデレーション学習は、より現実的な参加パターンの下で、サイクリッククライアントの可用性や任意の参加として分析されている。
  論文  参考訳（メタデータ） (2024-10-30T15:41:35Z)
• Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
  クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。 クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。 各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
  論文  参考訳（メタデータ） (2023-06-21T17:39:16Z)
• Towards Bias Correction of FedAvg over Nonuniform and Time-Varying Communications [26.597515045714502]
  Federated Learning(FL)は、パラメータサーバ(PS)とクライアントのコレクションが協調して、グローバルな目的を通じてモデルをトレーニングする分散学習フレームワークである。 チャネル条件が時間とともに変化している場合、FedFederated Postponedグローバルモデルは、ゴシップ型情報混合エラーを延期しないことを示す。
  論文  参考訳（メタデータ） (2023-06-01T01:52:03Z)
• Faster Federated Learning with Decaying Number of Local SGD Steps [23.447883712141422]
  InNIST Learning (FL)デバイスは、プライベートデータを中央または他のクライアントと共有することなく、機械学習モデルを協調的にトレーニングする。 本稿では、FLモデルの最終的な性能を共同で向上させる訓練が進むにつれて、$K$を提案する。
  論文  参考訳（メタデータ） (2023-05-16T17:36:34Z)
• Federated Learning with Regularized Client Participation [1.433758865948252]
  Federated Learning(FL)は、複数のクライアントが協力して機械学習タスクを解決する分散機械学習アプローチである。 FLの主な課題の1つは、多くのクライアントがトレーニングプロセスに関与しているときに発生する部分的な参加の問題である。 本稿では,新しい手法を提案し,新しいクライアント参加方式を設計する。
  論文  参考訳（メタデータ） (2023-02-07T18:26:07Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• FedRecover: Recovering from Poisoning Attacks in Federated Learning using Historical Information [67.8846134295194]
  フェデレートラーニングは、悪意のあるクライアントが世界モデルに毒を盛る攻撃に対して脆弱である。 我々はFedRecoverを提案する。これは、クライアントに対して少量のコストで、毒殺攻撃から正確なグローバルモデルを取り戻すことができる。
  論文  参考訳（メタデータ） (2022-10-20T00:12:34Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• Timely Communication in Federated Learning [65.1253801733098]
  我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。 提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。 各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。