Fugu-MT 論文翻訳(概要): Accelerating Federated Learning in Heterogeneous Data and Computational Environments

論文の概要: Accelerating Federated Learning in Heterogeneous Data and Computational Environments

arxiv url: http://arxiv.org/abs/2008.11281v1
Date: Tue, 25 Aug 2020 21:28:38 GMT
ステータス: 処理完了
システム内更新日: 2022-10-25 03:00:46.256421
Title: Accelerating Federated Learning in Heterogeneous Data and Computational Environments
Title（参考訳）: 不均一データと計算環境における連合学習の加速
Authors: Dimitris Stripelis and Jose Luis Ambite
Abstract要約: 本稿では,分散検証集合に対するフェデレーションにおける学習者の性能を評価する分散検証重み付け方式(DVW)を提案する。我々は、DVWがFedAvgのような確立された手法よりも優れた性能をもたらすことを実証的に示す。
参考スコア（独自算出の注目度）: 0.7106986689736825
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: There are situations where data relevant to a machine learning problem are distributed among multiple locations that cannot share the data due to regulatory, competitiveness, or privacy reasons. For example, data present in users' cellphones, manufacturing data of companies in a given industrial sector, or medical records located at different hospitals. Moreover, participating sites often have different data distributions and computational capabilities. Federated Learning provides an approach to learn a joint model over all the available data in these environments. In this paper, we introduce a novel distributed validation weighting scheme (DVW), which evaluates the performance of a learner in the federation against a distributed validation set. Each learner reserves a small portion (e.g., 5%) of its local training examples as a validation dataset and allows other learners models to be evaluated against it. We empirically show that DVW results in better performance compared to established methods, such as FedAvg, both under synchronous and asynchronous communication protocols in data and computationally heterogeneous environments.
Abstract（参考訳）: 機械学習の問題に関連するデータが、規制や競合性、プライバシの理由からデータを共有できない複数の場所に分散している状況があります。例えば、ユーザーの携帯電話にあるデータ、特定の産業分野の企業の製造データ、または異なる病院にある医療記録などである。さらに、参加サイトはデータ分散と計算能力が異なることが多い。連合学習は、これらの環境で利用可能なすべてのデータに対して共同モデルを学ぶためのアプローチを提供する。本稿では,分散検証セットに対するフェデレーションにおける学習者の性能を評価する新しい分散検証重み付けスキーム(dvw)を提案する。各学習者は、そのローカルトレーニング例のごく一部(例:5%)を検証データセットとして予約し、他の学習者モデルに対する評価を可能にする。我々はDVWがFedAvgのような既存の手法と比較して、データおよび計算上不均一な環境における同期通信プロトコルと非同期通信プロトコルの両方において優れた性能を示すことを実証的に示す。

関連論文リスト

Federated Impression for Learning with Distributed Heterogeneous Data [19.50235109938016]
フェデレートラーニング(FL)は、データを共有することなく、クライアント間で分散データセットから学習できるパラダイムを提供する。 FLでは、データ収集プロトコルや患者人口の多様さにより、異なる保健所のデータに準最適収束が一般的である。我々は,グローバル情報を表す合成データをフェデレーションとして復元することで,破滅的な忘れを緩和するFedImpresを提案する。
論文参考訳（メタデータ） (2024-09-11T15:37:52Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文参考訳（メタデータ） (2023-03-31T10:13:01Z)
Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。私たちの観察は直感的である。私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文参考訳（メタデータ） (2022-09-30T17:15:19Z)
FedILC: Weighted Geometric Mean and Invariant Gradient Covariance for Federated Learning on Non-IID Data [69.0785021613868]
フェデレートラーニング(Federated Learning)とは、ローカルに計算されたパラメータの更新を、空間的に分散されたクライアントサイロからトレーニングデータに集約することで、共有サーバモデルによる学習を可能にする分散機械学習アプローチである。本研究では, 勾配の共分散とヘッセンの幾何学的平均を利用して, シロ間およびシロ内成分の両方を捕捉するフェデレート不変学習一貫性(FedILC)アプローチを提案する。これは医療、コンピュータビジョン、IoT(Internet of Things)といった様々な分野に関係している。
論文参考訳（メタデータ） (2022-05-19T03:32:03Z)
Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
論文参考訳（メタデータ） (2022-02-17T18:58:31Z)
Jointly Learning from Decentralized (Federated) and Centralized Data to Mitigate Distribution Shift [2.9965560298318468]
フェデレートラーニング(FL)は、エッジデバイス上で学習が一括して行われる、ますます使われるパラダイムである。デバイス上のトレーニング例では、推論時に発生すると思われるデータ入力が不足している可能性がある。本稿では、FLと混在するデータセンターデータの選択的使用法である、このシフトを緩和する方法を提案する。
論文参考訳（メタデータ） (2021-11-23T20:51:24Z)
Federated Learning from Small Datasets [48.879172201462445]
フェデレーション学習は、複数のパーティが、ローカルデータを共有せずに、共同モデルを共同でトレーニングすることを可能にする。そこで本研究では,局所モデルの置換とモデルアグリゲーションを連動させる新しい手法を提案する。置換は、各ローカルモデルをローカルデータセットのデージーチェーンに公開することで、データスパースドメインでのより効率的なトレーニングを実現する。
論文参考訳（メタデータ） (2021-10-07T13:49:23Z)
Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
論文参考訳（メタデータ） (2021-07-18T19:05:44Z)
Semi-Synchronous Federated Learning [1.1168121941015012]
本稿では,局所モデルを最小のアイドル時間と高速収束で周期的に混合する半同期フェデレート学習プロトコルを提案する。提案手法は,データおよび計算上不均一な環境における過去の研究を著しく上回っていることを示す。
論文参考訳（メタデータ） (2021-02-04T19:33:35Z)
A Principled Approach to Data Valuation for Federated Learning [73.19984041333599]
フェデレートラーニング(FL)は、分散データソース上で機械学習(ML)モデルをトレーニングする一般的なテクニックである。 Shapley value (SV) はデータ値の概念として多くのデシラタを満たすユニークなペイオフスキームを定義する。本稿では,FL に対応する SV の変種を提案する。
論文参考訳（メタデータ） (2020-09-14T04:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。