論文の概要: FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems

• arxiv url: http://arxiv.org/abs/2104.07515v1
• Date: Thu, 15 Apr 2021 15:14:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 21:29:25.733542
• Title: FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems
• Title（参考訳）: FedSAE: 異種システムにおける自己適応型フェデレーション学習フレームワーク
• Authors: Li Li, Moming Duan, Duo Liu, Yu Zhang, Ao Ren, Xianzhang Chen, Yujuan Tan, Chengliang Wang
• Abstract要約: Federated Learning(FL)は、何千ものエッジデバイスがデータをサーバに同心的にアップロードすることなく、ローカルにモデルをトレーニングできる、新しい分散機械学習である。 我々は、デバイスの自動トレーニングタスクを調整する新しい自己適応型フェデレーションフレームワークFedSAEを導入し、参加者を積極的に選択してパフォーマンス劣化を緩和する。 このフレームワークでは、サーバは、トレーニング損失に基づいて、デバイスのトレーニング値を評価する。 その後、サーバは、通信のオーバーヘッドを減らすために、グローバルモデルにより大きな価値を持つクライアントを選択する。
• 参考スコア（独自算出の注目度）: 14.242716751043533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a novel distributed machine learning which allows thousands of edge devices to train model locally without uploading data concentrically to the server. But since real federated settings are resource-constrained, FL is encountered with systems heterogeneity which causes a lot of stragglers directly and then leads to significantly accuracy reduction indirectly. To solve the problems caused by systems heterogeneity, we introduce a novel self-adaptive federated framework FedSAE which adjusts the training task of devices automatically and selects participants actively to alleviate the performance degradation. In this work, we 1) propose FedSAE which leverages the complete information of devices' historical training tasks to predict the affordable training workloads for each device. In this way, FedSAE can estimate the reliability of each device and self-adaptively adjust the amount of training load per client in each round. 2) combine our framework with Active Learning to self-adaptively select participants. Then the framework accelerates the convergence of the global model. In our framework, the server evaluates devices' value of training based on their training loss. Then the server selects those clients with bigger value for the global model to reduce communication overhead. The experimental result indicates that in a highly heterogeneous system, FedSAE converges faster than FedAvg, the vanilla FL framework. Furthermore, FedSAE outperforms than FedAvg on several federated datasets - FedSAE improves test accuracy by 26.7% and reduces stragglers by 90.3% on average.
• Abstract（参考訳）: federated learning (fl)は、何千ものエッジデバイスがサーバにデータを同心的にアップロードすることなく、ローカルにモデルをトレーニングできる、新しい分散機械学習である。 しかし、実際のフェデレーション設定はリソース制約があるため、flはシステムの不均一性に遭遇し、ストラグラーを多数直接引き起こし、間接的に大幅に精度を低下させる。 システムの不均一性に起因する問題を解決するために,デバイスの自動トレーニングタスクを調整する自己適応型フェデレーションフレームワークであるFedSAEを導入し,参加者を積極的に選択して性能劣化を緩和する。 本研究は,機器の履歴トレーニングタスクの完全な情報を利用して,各機器の安価なトレーニング作業を予測するFedSAEを提案する。 このようにして、FedSAEは各デバイスの信頼性を推定し、各ラウンドにおけるクライアント毎のトレーニング負荷量を自己適応的に調整することができる。 2) フレームワークとアクティブラーニングを組み合わせることで、参加者を自己適応的に選択します。 そして、このフレームワークはグローバルモデルの収束を加速する。 このフレームワークでは、サーバは、トレーニング損失に基づいて、デバイスのトレーニング値を評価する。 そして、サーバは、グローバルモデルに対してより大きな価値を持つクライアントを選択し、通信オーバーヘッドを減らす。 実験結果から,FedSAEはバニラFLフレームワークであるFedAvgよりも早く収束することが示唆された。 さらに、FedSAEはいくつかのフェデレーションデータセットでFedAvgよりも優れており、FedSAEはテスト精度を26.7%改善し、ストラグラーを平均で90.3%削減する。

関連論文リスト

• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• FedFNN: Faster Training Convergence Through Update Predictions in Federated Recommender Systems [4.4273123155989715]
  フェデレートラーニング(FL)は、分散機械学習の鍵となるアプローチとして登場した。 本稿では、分散モデルトレーニングを高速化するアルゴリズムであるFedFNNを紹介する。
  論文  参考訳（メタデータ） (2023-09-14T13:18:43Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• FedSA: Accelerating Intrusion Detection in Collaborative Environments with Federated Simulated Annealing [2.7011265453906983]
  侵入検知システム(IDS)における協調学習のソリューションとしてのフェデレーション学習 本稿では,フェデレーテッド・シミュレート・アニーリング(FedSA)メタヒューリスティック(メタヒューリスティック)を提案し,フェデレーテッド・ラーニングにおける各アグリゲーションラウンドにおける参加者のハイパーパラメータとサブセットを選択する。 この提案では、従来のアグリゲーションアプローチよりも攻撃検出の精度が約97%向上するために、アグリゲーションラウンドを最大50%削減する必要がある。
  論文  参考訳（メタデータ） (2022-05-23T14:27:56Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Fed-Focal Loss for imbalanced data classification in Federated Learning [2.2172881631608456]
  Federated Learningには、デバイスネットワーク上のモデルのトレーニングをコーディネートする中央サーバがある。 課題の1つは、データセットがクラス不均衡である場合の可変トレーニングパフォーマンスである。 焦点損失の線に沿って、適切に分類された例に割り当てられた損失を下げるように、クロスエントロピー損失を変形させることにより、クラス不均衡に対処することを提案する。
  論文  参考訳（メタデータ） (2020-11-12T09:52:14Z)
• FedGroup: Efficient Clustered Federated Learning via Decomposed Data-Driven Measure [18.083188787905083]
  本稿では,新しいクラスタ型フェデレーション学習(CFL)フレームワークであるFedGroupを提案する。 FEMNISTではFedAvgに比べて絶対テスト精度が+14.1%向上することが示された。 また、いくつかのオープンデータセット上でFedGroupとFedGrouProx(FedProxと組み合わせた)を評価します。
  論文  参考訳（メタデータ） (2020-10-14T08:15:34Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。