論文の概要: Multi-Center Federated Learning

• arxiv url: http://arxiv.org/abs/2005.01026v2
• Date: Sat, 21 Aug 2021 05:50:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 06:23:54.718942
• Title: Multi-Center Federated Learning
• Title（参考訳）: マルチセンターフェデレーションラーニング
• Authors: Ming Xie, Guodong Long, Tao Shen, Tianyi Zhou, Xianzhi Wang, Jing Jiang, Chengqi Zhang
• Abstract要約: 本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 62.57229809407692
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning has received great attention for its capability to train a large-scale model in a decentralized manner without needing to access user data directly. It helps protect the users' private data from centralized collecting. Unlike distributed machine learning, federated learning aims to tackle non-IID data from heterogeneous sources in various real-world applications, such as those on smartphones. Existing federated learning approaches usually adopt a single global model to capture the shared knowledge of all users by aggregating their gradients, regardless of the discrepancy between their data distributions. However, due to the diverse nature of user behaviors, assigning users' gradients to different global models (i.e., centers) can better capture the heterogeneity of data distributions across users. Our paper proposes a novel multi-center aggregation mechanism for federated learning, which learns multiple global models from the non-IID user data and simultaneously derives the optimal matching between users and centers. We formulate the problem as a joint optimization that can be efficiently solved by a stochastic expectation maximization (EM) algorithm. Our experimental results on benchmark datasets show that our method outperforms several popular federated learning methods.
• Abstract（参考訳）: フェデレートラーニングは,ユーザデータに直接アクセスする必要なく,大規模モデルを分散的にトレーニングする能力に大きな注目を集めている。 ユーザのプライベートデータを集中収集から保護するのに役立つ。 分散機械学習とは異なり、フェデレートされた学習は、スマートフォンなど、さまざまな現実世界のアプリケーションにおける異種ソースからの非IIDデータに取り組むことを目的としている。 既存のフェデレーション学習のアプローチは通常、単一のグローバルモデルを採用して、データ分布のばらつきに関係なく、勾配を集約することで、すべてのユーザの共有知識をキャプチャする。 しかし、ユーザ行動の多様性のため、異なるグローバルモデル(すなわちセンター)にユーザの勾配を割り当てることで、ユーザ間のデータ分散の不均一性をよりよく捉えることができる。 本稿では,非IIDユーザデータから複数のグローバルモデルを学習し,同時にユーザとセンタの最適なマッチングを導出する,フェデレーション学習のための新しい多中心集約機構を提案する。 確率的予測最大化(EM)アルゴリズムにより効率よく解けるような共同最適化として問題を定式化する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。

関連論文リスト

• Multi-Center Federated Learning [62.32725938999433]
  フェデレートラーニング(FL)は、分散ラーニングにおけるデータのプライバシを保護する。 単にデータにアクセスせずに、ユーザーからローカルな勾配を収集するだけだ。 本稿では,新しいマルチセンターアグリゲーション機構を提案する。
  論文  参考訳（メタデータ） (2021-08-19T12:20:31Z)
• Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
  分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。 本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
  論文  参考訳（メタデータ） (2021-07-18T19:05:44Z)
• Federated Mixture of Experts [94.25278695272874]
  FedMixは特別なモデルのアンサンブルをトレーニングできるフレームワークです。 類似したデータ特性を持つユーザが同じメンバーを選択して統計的強度を共有することを示す。
  論文  参考訳（メタデータ） (2021-07-14T14:15:24Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Analysis and Optimal Edge Assignment For Hierarchical Federated Learning on Non-IID Data [43.32085029569374]
  フェデレーション学習アルゴリズムは、ユーザのデバイスに格納された分散および多様なデータを活用して、グローバルな現象を学習することを目的としている。 参加者のデータが強く歪んだ場合(例えば、非iidの場合)、ローカルモデルはローカルデータに過剰に適合し、低パフォーマンスなグローバルモデルに繋がる。 ユーザエッジ層にFederated Gradient Descent、エッジクラウド層にFederated Averagingを実行する階層学習システムを提案する。
  論文  参考訳（メタデータ） (2020-12-10T12:18:13Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)
• Personalized Federated Learning: A Meta-Learning Approach [28.281166755509886]
  フェデレートラーニング(Federated Learning)では、複数のコンピューティングユニット(ユーザ)にまたがるモデルをトレーニングすることを目的としています。 本稿では,現在あるいは新規利用者が自身のデータに対して1段階ないし数段階の勾配降下を実行することで,ローカルデータセットに容易に適応できるような,初歩的な共有モデルを見つけることを目標とする,フェデレーション学習のパーソナライズされたバリエーションについて検討する。
  論文  参考訳（メタデータ） (2020-02-19T01:08:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。