論文の概要: Precision-Weighted Federated Learning

• arxiv url: http://arxiv.org/abs/2107.09627v1
• Date: Tue, 20 Jul 2021 17:17:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 14:54:21.520171
• Title: Precision-Weighted Federated Learning
• Title（参考訳）: 高精度フェデレーション学習
• Authors: Jonatan Reyes, Lisa Di Jorio, Cecile Low-Kam and Marta Kersten-Oertel
• Abstract要約: フェデレート学習環境で訓練されたモデルのパラメータの重み付け平均を計算する際に,勾配のばらつきを考慮した新しいアルゴリズムを提案する。 本手法は,2つの異なるデータ分割戦略 (IID/non-IID) を持つ標準画像分類データセットを用いて,資源制約環境下での手法の性能と速度を測定した。
• 参考スコア（独自算出の注目度）: 1.8160945635344528
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated Learning using the Federated Averaging algorithm has shown great advantages for large-scale applications that rely on collaborative learning, especially when the training data is either unbalanced or inaccessible due to privacy constraints. We hypothesize that Federated Averaging underestimates the full extent of heterogeneity of data when the aggregation is performed. We propose Precision-weighted Federated Learning a novel algorithm that takes into account the variance of the stochastic gradients when computing the weighted average of the parameters of models trained in a Federated Learning setting. With Precision-weighted Federated Learning, we provide an alternate averaging scheme that leverages the heterogeneity of the data when it has a large diversity of features in its composition. Our method was evaluated using standard image classification datasets with two different data partitioning strategies (IID/non-IID) to measure the performance and speed of our method in resource-constrained environments, such as mobile and IoT devices. We obtained a good balance between computational efficiency and convergence rates with Precision-weighted Federated Learning. Our performance evaluations show 9% better predictions with MNIST, 18% with Fashion-MNIST, and 5% with CIFAR-10 in the non-IID setting. Further reliability evaluations ratify the stability in our method by reaching a 99% reliability index with IID partitions and 96% with non-IID partitions. In addition, we obtained a 20x speedup on Fashion-MNIST with only 10 clients and up to 37x with 100 clients participating in the aggregation concurrently per communication round. The results indicate that Precision-weighted Federated Learning is an effective and faster alternative approach for aggregating private data, especially in domains where data is highly heterogeneous.
• Abstract（参考訳）: federated averagingアルゴリズムを用いたフェデレーション学習は、特にプライバシの制約によってトレーニングデータが不均衡かアクセス不能かの場合に、協調学習に依存する大規模アプリケーションにおいて、大きなアドバンテージを示している。 我々は、フェデレート平均化がアグリゲーションの実行時のデータの完全均一性を過小評価していると仮定する。 本研究では,連立学習環境で訓練されたモデルのパラメータの重み付け平均を計算する際に確率勾配のばらつきを考慮した新しいアルゴリズムを提案する。 精度重み付きフェデレーション学習では,その構成に多彩な特徴がある場合,データの均一性を生かした,代替平均化スキームが提供される。 本手法は,2つの異なるデータ分割戦略(IID/Non-IID)を持つ標準画像分類データセットを用いて,モバイルやIoTデバイスなどの資源制約環境における手法の性能と速度を測定する。 精度重み付き連合学習による計算効率と収束率のバランスが良好であった。 評価の結果,MNISTは9%,Fashion-MNISTは18%,CIFAR-10は5%であった。 さらに信頼性評価を行い, iid分割で99%, 非iid分割で96%の信頼性指数を到達させることで, 安定性を検証した。 さらに,20倍の速さで10クライアント,最大37倍の速さで,コミュニケーションラウンド毎に100クライアントが同時にアグリゲーションに参加している。 その結果、精度重み付き連合学習は、特にデータが高度に異質な領域において、プライベートデータを集約するための効果的かつ高速な代替手法であることが示された。

関連論文リスト

• Enhancing Federated Learning Convergence with Dynamic Data Queue and Data Entropy-driven Participant Selection [13.825031686864559]
  Federated Learning(FL)は、エッジデバイス上でのコラボレーティブモデルトレーニングのための分散アプローチである。 本稿では,サーバ上のデータのグローバルサブセットを作成し,デバイス間で動的に分散することにより,FLの収束を改善する手法を提案する。 提案手法により,MNISTデータセットでは約5%,CIFAR-10では約18%,CIFAR-100では約20%の精度向上を実現した。
  論文  参考訳（メタデータ） (2024-10-23T11:47:04Z)
• Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics [20.781607752797445]
  特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。 最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。 第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
  論文  参考訳（メタデータ） (2024-03-13T09:24:59Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning [4.02923738318937]
  異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。 この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。 我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T04:24:16Z)
• Federated Learning Under Intermittent Client Availability and Time-Varying Communication Constraints [29.897785907692644]
  フェデレートされた学習システムは、断続的なクライアントの可用性および/または時間変化の通信制約を伴う設定で動作する。 可用性に依存したクライアント選択戦略を学習する非バイアスアルゴリズムであるF3ASTを提案する。 CIFAR100とシェークスピアでそれぞれ186%,FedAvgは8%,FedAdamは7%であった。
  論文  参考訳（メタデータ） (2022-05-13T16:08:58Z)
• Federated Learning with Heterogeneous Data: A Superquantile Optimization Approach [0.0]
  我々は、不均一なデータを持つ個々のクライアントに対して、優れたパフォーマンスを確実に提供するように設計された、フェデレートされた学習フレームワークを提案する。 提案手法は,誤差の尾の統計を捉える水槽型学習訓練に基づく。
  論文  参考訳（メタデータ） (2021-12-17T11:00:23Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。