論文の概要: Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction

• arxiv url: http://arxiv.org/abs/2302.10757v1
• Date: Thu, 16 Feb 2023 16:32:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-26 14:06:49.970793
• Title: Distributed Learning in Heterogeneous Environment: federated learning with adaptive aggregation and computation reduction
• Title（参考訳）: 異種環境における分散学習--適応集計と計算量削減による連合学習
• Authors: Jingxin Li, Toktam Mahmoodi, Hak-Keung Lam
• Abstract要約: 異種データ、時間的変化のある無線条件、コンピューティングに制限のあるデバイスは3つの大きな課題である。 これらの課題に対処するための戦略を提案する。 提案手法は, 適度な遅延環境下で最大15ラウンドの通信遅延を許容できる。
• 参考スコア（独自算出の注目度）: 37.217844795181975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although federated learning has achieved many breakthroughs recently, the heterogeneous nature of the learning environment greatly limits its performance and hinders its real-world applications. The heterogeneous data, time-varying wireless conditions and computing-limited devices are three main challenges, which often result in an unstable training process and degraded accuracy. Herein, we propose strategies to address these challenges. Targeting the heterogeneous data distribution, we propose a novel adaptive mixing aggregation (AMA) scheme that mixes the model updates from previous rounds with current rounds to avoid large model shifts and thus, maintain training stability. We further propose a novel staleness-based weighting scheme for the asynchronous model updates caused by the dynamic wireless environment. Lastly, we propose a novel CPU-friendly computation-reduction scheme based on transfer learning by sharing the feature extractor (FES) and letting the computing-limited devices update only the classifier. The simulation results show that the proposed framework outperforms existing state-of-the-art solutions and increases the test accuracy, and training stability by up to 2.38%, 93.10% respectively. Additionally, the proposed framework can tolerate communication delay of up to 15 rounds under a moderate delay environment without significant accuracy degradation.
• Abstract（参考訳）: 連合学習は近年多くのブレークスルーを達成しているが、学習環境の不均一性は、その性能を著しく制限し、現実世界の応用を妨げる。 不均質なデータ、時変無線条件、コンピューティング制限されたデバイスは3つの大きな課題であり、不安定なトレーニングプロセスと精度の低下をもたらすことが多い。 本稿では,これらの課題に対処するための戦略を提案する。 本研究では,不均質なデータ分布を対象とし,前ラウンドからのモデル更新と現在のラウンドとを混合し,大きなモデルシフトを回避し,トレーニング安定性を維持する新しい適応混合集約(ama)方式を提案する。 さらに、動的無線環境による非同期モデル更新のための新しい安定化に基づく重み付け方式を提案する。 最後に,特徴抽出器(FES)を共有化して,計算機限定のデバイスに分類器のみを更新させることにより,転送学習に基づくCPUフレンドリな計算還元手法を提案する。 シミュレーションの結果,提案フレームワークは既存の最先端ソリューションを上回り,テスト精度が向上し,トレーニング安定性が最大2.38%,93.10%向上した。 さらに,提案フレームワークは,適切な遅延環境下で最大15発の通信遅延を許容できるが,精度は低下しない。

関連論文リスト

• FLARE: A New Federated Learning Framework with Adjustable Learning Rates over Resource-Constrained Wireless Networks [20.048146776405005]
  ワイヤレス・フェデレート・ラーニング(WFL)は、データ分散、計算能力、チャネル条件などにおいて不均一性に悩まされている。 本稿では,Federated Learning Adjusted lean ratE (FLR ratE)による新しいアイデアを提案する。 FLAREが一貫してベースラインを上回っている実験。
  論文  参考訳（メタデータ） (2024-04-23T07:48:17Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• FedDCT: A Dynamic Cross-Tier Federated Learning Framework in Wireless Networks [5.914766366715661]
  フェデレートラーニング(FL)は、ローカルデータを公開せずにデバイス全体でグローバルモデルをトレーニングする。 無線ネットワークにおけるリソースの不均一性と避けられないストラグラーは、FLトレーニングの効率と正確性に大きな影響を与えます。 動的クロスティアフェデレーション学習フレームワーク(FedDCT)を提案する。
  論文  参考訳（メタデータ） (2023-07-10T08:54:07Z)
• Environment Transformer and Policy Optimization for Model-Based Offline Reinforcement Learning [25.684201757101267]
  本研究では環境変換器と呼ばれる不確実性を考慮したシーケンスモデリングアーキテクチャを提案する。 遷移力学と報酬関数の正確なモデリングにより、環境変換器は任意の計画、動的プログラミング、オフラインRLのためのポリシー最適化アルゴリズムと組み合わせることができる。
  論文  参考訳（メタデータ） (2023-03-07T11:26:09Z)
• Adaptive Fairness-Aware Online Meta-Learning for Changing Environments [29.073555722548956]
  公正を意識したオンライン学習フレームワークは、継続的な生涯学習環境のための強力なツールとして生まれてきた。 既存の手法は、データに対するi.i.dの仮定を多用し、フレームワークに静的な後悔の分析を提供する。 バイアス制御とモデル精度の両方で変化する環境に適応できる適応的公平性を考慮したオンラインメタ学習アルゴリズムであるFairSAOMLを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:29:38Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。