論文の概要: Heterogeneity-aware Personalized Federated Learning via Adaptive Dual-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2501.16966v1
• Date: Tue, 28 Jan 2025 14:08:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:42:23.634280
• Title: Heterogeneity-aware Personalized Federated Learning via Adaptive Dual-Agent Reinforcement Learning
• Title（参考訳）: 適応的デュアルエージェント強化学習による不均一性を考慮した個人化フェデレーション学習
• Authors: Xi Chen, Qin Li, Haibin Cai, Ting Wang,
• Abstract要約: フェデレートラーニング(FL)は、複数のクライアントに対して、ローカルデータを共有せずに機械学習モデルを協調的にトレーニングする権限を与える。 本稿では,多段階強化学習(RL)機構を用いて,HAPFLと呼ばれる新しい異種性を考慮した個人化フェデレーション学習手法を提案する。 複数のベンチマークデータセットに対する実験結果によると、HAPFLは高い精度を達成するだけでなく、トレーニング全体の時間を20.9%から40.4%短縮する。
• 参考スコア（独自算出の注目度）: 15.61141633436468
• License:
• Abstract: Federated Learning (FL) empowers multiple clients to collaboratively train machine learning models without sharing local data, making it highly applicable in heterogeneous Internet of Things (IoT) environments. However, intrinsic heterogeneity in clients' model architectures and computing capabilities often results in model accuracy loss and the intractable straggler problem, which significantly impairs training effectiveness. To tackle these challenges, this paper proposes a novel Heterogeneity-aware Personalized Federated Learning method, named HAPFL, via multi-level Reinforcement Learning (RL) mechanisms. HAPFL optimizes the training process by incorporating three strategic components: 1) An RL-based heterogeneous model allocation mechanism. The parameter server employs a Proximal Policy Optimization (PPO)-based RL agent to adaptively allocate appropriately sized, differentiated models to clients based on their performance, effectively mitigating performance disparities. 2) An RL-based training intensity adjustment scheme. The parameter server leverages another PPO-based RL agent to dynamically fine-tune the training intensity for each client to further enhance training efficiency and reduce straggling latency. 3) A knowledge distillation-based mutual learning mechanism. Each client deploys both a heterogeneous local model and a homogeneous lightweight model named LiteModel, where these models undergo mutual learning through knowledge distillation. This uniform LiteModel plays a pivotal role in aggregating and sharing global knowledge, significantly enhancing the effectiveness of personalized local training. Experimental results across multiple benchmark datasets demonstrate that HAPFL not only achieves high accuracy but also substantially reduces the overall training time by 20.9%-40.4% and decreases straggling latency by 19.0%-48.0% compared to existing solutions.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアントに対して、ローカルデータを共有せずに機械学習モデルを協調的にトレーニングする権限を与え、異種モノのインターネット(IoT)環境に適用できる。 しかし、クライアントのモデルアーキテクチャと計算能力の固有の不均一性は、しばしばモデルの精度の低下と難解なストラグラー問題を引き起こし、トレーニングの有効性を著しく損なう。 これらの課題に対処するために,多段階強化学習(RL)機構を介し,HAPFL(Herogeneity-aware Personalized Federated Learning)という新しい手法を提案する。 HAPFLは3つの戦略コンポーネントを組み込むことでトレーニングプロセスを最適化する。 1) RL に基づくヘテロジニアスモデルアロケーション機構。 パラメータサーバは、PPO(Proximal Policy Optimization)ベースのRLエージェントを使用して、適切なサイズで差別化されたモデルをクライアントに適応的に割り当て、性能格差を効果的に軽減する。 2)RLに基づくトレーニング強度調整方式。 パラメータサーバは、別のPPOベースのRLエージェントを活用して、各クライアントのトレーニング強度を動的に微調整し、トレーニング効率をさらに高め、また、ストラグリングレイテンシを低減する。 3)知識蒸留に基づく相互学習機構 各クライアントは異種局所モデルとLiteModelという同種軽量モデルの両方をデプロイする。 この均一なLiteModelは、グローバル知識の集約と共有において重要な役割を担い、パーソナライズされたローカルトレーニングの有効性を著しく向上させる。 複数のベンチマークデータセットに対する実験結果から、HAPFLは高い精度を達成するだけでなく、トレーニング全体の時間を20.9%から40.4%削減し、既存のソリューションに比べて19.0%から48.0%削減することが示された。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Lightweight Industrial Cohorted Federated Learning for Heterogeneous Assets [0.0]
  フェデレーテッド・ラーニング(FL)は、分散機械学習(ML)モデルをトレーニングするための最も広く採用されているコラボレーティブ・ラーニング・アプローチである。 しかし、すべてのFLタスクにおいて、大きなデータ類似性や均質性は認められているため、FLは産業環境では特に設計されていない。 本稿では,コホーティングにモデルパラメータを用いる軽量産業用コホーテッドFL (licFL) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-25T12:48:56Z)
• Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
  マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。 様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-10T11:52:53Z)
• An Element-Wise Weights Aggregation Method for Federated Learning [11.9232569348563]
  フェデレートラーニングのための革新的要素量集約法(EWWA-FL)を提案する。 EWWA-FLは、個々の要素のレベルでグローバルモデルに局所的な重みを集約し、各クライアントが学習プロセスに要素的に貢献することを可能にする。 各クライアントのユニークなデータセット特性を考慮して、EWWA-FLはグローバルモデルの堅牢性を異なるデータセットに拡張する。
  論文  参考訳（メタデータ） (2024-04-24T15:16:06Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• pFedES: Model Heterogeneous Personalized Federated Learning with Feature Extractor Sharing [19.403843478569303]
  特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。 これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。 テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
  論文  参考訳（メタデータ） (2023-11-12T15:43:39Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)
• Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
  フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。 FEIシステムは異種通信と計算資源分布を示す。 本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-26T08:13:22Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。