論文の概要: Version age-based client scheduling policy for federated learning
- arxiv url: http://arxiv.org/abs/2402.05407v1
- Date: Thu, 8 Feb 2024 04:48:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 16:17:39.306617
- Title: Version age-based client scheduling policy for federated learning
- Title(参考訳): フェデレーション学習のためのバージョン年齢に基づくクライアントスケジューリングポリシー
- Authors: Xinyi Hu, Nikolaos Pappas, Howard H. Yang
- Abstract要約: フェデレートラーニング(FL)は、ローカルデータを共有することなく、複数のクライアント間の協調トレーニングを容易にする、プライバシ保護機械学習パラダイムとして登場した。
エッジデバイス能力の進歩にもかかわらず、通信ボトルネックは多数のクライアントを集約する上での課題を示す。
この現象は、FLにおけるストラグラーの致命的な課題と、クライアントスケジューリングポリシーがグローバルモデル収束と安定性に与える影響を提起する。
- 参考スコア(独自算出の注目度): 25.835001146856396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) has emerged as a privacy-preserving machine learning
paradigm facilitating collaborative training across multiple clients without
sharing local data. Despite advancements in edge device capabilities,
communication bottlenecks present challenges in aggregating a large number of
clients; only a portion of the clients can update their parameters upon each
global aggregation. This phenomenon introduces the critical challenge of
stragglers in FL and the profound impact of client scheduling policies on
global model convergence and stability. Existing scheduling strategies address
staleness but predominantly focus on either timeliness or content. Motivated by
this, we introduce the novel concept of Version Age of Information (VAoI) to
FL. Unlike traditional Age of Information metrics, VAoI considers both
timeliness and content staleness. Each client's version age is updated
discretely, indicating the freshness of information. VAoI is incorporated into
the client scheduling policy to minimize the average VAoI, mitigating the
impact of outdated local updates and enhancing the stability of FL systems.
- Abstract(参考訳): フェデレートラーニング(FL)は、ローカルデータを共有せずに複数のクライアント間の協調トレーニングを容易にする、プライバシ保護機械学習パラダイムとして登場した。
エッジデバイス能力の進歩にもかかわらず、通信ボトルネックは多数のクライアントを集約する上での課題を呈する。
この現象は、flにおけるストラグラーの批判的な挑戦と、グローバルモデル収束と安定性に対するクライアントスケジューリングポリシーの深い影響をもたらす。
既存のスケジューリング戦略は不安定性に対処するが、主にタイムラインやコンテンツに焦点を当てる。
そこで本研究では,情報のバージョン時代(VAoI)という新しい概念をFLに導入する。
従来のAge of Informationのメトリクスとは異なり、VAoIはタイムラインとコンテンツの安定度の両方を考慮する。
各クライアントのバージョン年齢は個別に更新され、情報の鮮度を示す。
VAoIは平均的なVAoIを最小化するためにクライアントスケジューリングポリシーに組み込まれ、古いローカル更新の影響を緩和し、FLシステムの安定性を向上させる。
関連論文リスト
- Value of Information and Timing-aware Scheduling for Federated Learning [24.40692354824834]
Federated Learning (FL)は、トレーニング中にデータのプライバシを保存するソリューションを提供する。
FLは、アクセスポイント(AP)によるローカルトレーニングのために、ユーザー機器(UE)に直接モデルをもたらす。
論文 参考訳(メタデータ) (2023-12-16T17:51:22Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-04-11T14:51:55Z) - Personalized Privacy-Preserving Framework for Cross-Silo Federated
Learning [0.0]
Federated Learning(FL)は有望な分散ディープラーニング(DL)フレームワークであり、プライベートデータを共有することなく、クライアント間で共同でトレーニングされたDLベースのアプローチを可能にする。
本稿では,PPPFL(Personalized Privacy-Preserving Federated Learning)という新しいフレームワークを提案する。
提案するフレームワークは,MNIST,Fashion-MNIST,CIFAR-10,CIFAR-100など,さまざまなデータセット上で複数のFLベースラインより優れている。
論文 参考訳(メタデータ) (2023-02-22T07:24:08Z) - Improving Privacy-Preserving Vertical Federated Learning by Efficient
Communication with ADMM [66.36040015657339]
フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。
マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。
VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
論文 参考訳(メタデータ) (2022-07-20T23:14:33Z) - Robust Quantity-Aware Aggregation for Federated Learning [72.59915691824624]
悪意のあるクライアントは、モデル更新を害し、モデルアグリゲーションにおけるモデル更新の影響を増幅するために大量の要求を行う。
FLの既存の防御メソッドは、悪意のあるモデル更新を処理する一方で、すべての量の良性を扱うか、単にすべてのクライアントの量を無視/停止するだけである。
本稿では,フェデレーション学習のためのロバストな量認識アグリゲーションアルゴリズムであるFedRAを提案し,局所的なデータ量を認識してアグリゲーションを行う。
論文 参考訳(メタデータ) (2022-05-22T15:13:23Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Communication-Efficient Federated Learning with Acceleration of Global
Momentum [46.771459325434535]
フェデレートラーニングはしばしば、参加するクライアントの不均一な特性のために不安定で遅い収束に悩まされる。
本稿では,サーバ側のアグリゲーションステップの安定性を向上させる新しいフェデレーション学習フレームワークを提案する。
本アルゴリズムは,グローバルな更新情報を,追加の通信コストを伴わない参加者に自然に集約し,伝達する。
論文 参考訳(メタデータ) (2022-01-10T05:31:07Z) - Personalized Retrogress-Resilient Framework for Real-World Medical
Federated Learning [8.240098954377794]
本稿では,各クライアントに対して優れたパーソナライズモデルを生成するために,パーソナライズされた回帰耐性フレームワークを提案する。
実世界の皮膚内視鏡的FLデータセットに関する実験により、我々のパーソナライズされた回帰抵抗性フレームワークが最先端のFL手法より優れていることが証明された。
論文 参考訳(メタデータ) (2021-10-01T13:24:29Z) - Federated Noisy Client Learning [105.00756772827066]
フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。
標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。
本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
論文 参考訳(メタデータ) (2021-06-24T11:09:17Z) - Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。
FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。
我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文 参考訳(メタデータ) (2020-03-06T13:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。