論文の概要: Federated Expectation Maximization with heterogeneity mitigation and variance reduction

• arxiv url: http://arxiv.org/abs/2111.02083v1
• Date: Wed, 3 Nov 2021 09:14:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 14:17:19.222728
• Title: Federated Expectation Maximization with heterogeneity mitigation and variance reduction
• Title（参考訳）: 異質性緩和と分散低減を伴う連合期待最大化
• Authors: Aymeric Dieuleveut (X-DEP-MATHAPP), Gersende Fort (IMT), Eric Moulines (X-DEP-MATHAPP), Genevi\`eve Robin (LaMME)
• Abstract要約: 本稿では、潜在変数モデルに対する期待最大化(EM)アルゴリズムの最初の拡張であるFedEMを紹介する。 通信の複雑さを軽減するため、FedEMは十分なデータ統計を適切に定義した。 その結果,生物多様性モニタリングに欠落した値の計算処理を応用した理論的知見が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Expectation Maximization (EM) algorithm is the default algorithm for inference in latent variable models. As in any other field of machine learning, applications of latent variable models to very large datasets make the use of advanced parallel and distributed architectures mandatory. This paper introduces FedEM, which is the first extension of the EM algorithm to the federated learning context. FedEM is a new communication efficient method, which handles partial participation of local devices, and is robust to heterogeneous distributions of the datasets. To alleviate the communication bottleneck, FedEM compresses appropriately defined complete data sufficient statistics. We also develop and analyze an extension of FedEM to further incorporate a variance reduction scheme. In all cases, we derive finite-time complexity bounds for smooth non-convex problems. Numerical results are presented to support our theoretical findings, as well as an application to federated missing values imputation for biodiversity monitoring.
• Abstract（参考訳）: expectation Maximization (EM)アルゴリズムは、潜在変数モデルにおける推論のデフォルトアルゴリズムである。 機械学習の他の分野と同様に、非常に大きなデータセットへの潜在変数モデルの応用は、高度な並列および分散アーキテクチャの使用を必須とする。 本稿では,フェデレート学習コンテキストへのEMアルゴリズムの最初の拡張であるFedEMを紹介する。 FedEMは、ローカルデバイスの部分的な参加を扱う新しい通信効率向上手法であり、データセットの異種分布に対して堅牢である。 通信ボトルネックを軽減するため、FedEMは適切に定義された完全な統計データを圧縮する。 我々はまた、分散還元スキームをさらに組み込むためのFedEMの拡張を開発し、分析する。 いずれの場合も、滑らかな非凸問題に対する有限時間複雑性境界を導出する。 本研究の理論的知見と,生物多様性モニタリングのためのフェデレーション付き欠落値計算への応用について検討した。

関連論文リスト

• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Federated Empirical Risk Minimization via Second-Order Method [18.548661105227488]
  連合学習環境下での一般的な経験的リスク最小化問題を解決するためのインテリアポイント法(IPM)を提案する。 IPMの各イテレーションの通信複雑性は$tildeO(d3/2)$であり、$d$はデータセットの次元(つまり、多くの機能)である。
  論文  参考訳（メタデータ） (2023-05-27T14:23:14Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction for Uncertainty Quantification [4.728311759896569]
  本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。 これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。 UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-26T11:45:32Z)
• FedADMM: A Robust Federated Deep Learning Framework with Adaptivity to System Heterogeneity [4.2059108111562935]
  Federated Learning(FL)は、エッジデバイスによる大規模データの分散処理のための新興フレームワークである。 本稿では,FLAD FedADMMに基づく新しいプロトコルを提案する。 我々は,FedADMMが通信効率の点で,すべてのベースライン手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T15:58:33Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis [8.863089484787835]
  ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。 FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
  論文  参考訳（メタデータ） (2021-10-14T17:35:24Z)
• Entropy Minimizing Matrix Factorization [102.26446204624885]
  NMF(Nonnegative Matrix Factorization)は、広く使用されているデータ分析技術であり、多くの実際のタスクで印象的な結果をもたらしました。 本研究では,上述の問題に対処するために,EMMF (Entropy Minimizing Matrix Factorization framework) を開発した。 通常、外れ値が通常のサンプルよりもはるかに小さいことを考えると、行列分解のために新しいエントロピー損失関数が確立される。
  論文  参考訳（メタデータ） (2021-03-24T21:08:43Z)
• Federated Matrix Factorization: Algorithm Design and Application to Data Clustering [18.917444528804463]
  データプライバシに関する近年の要求は、大規模で異種ネットワークにおける新たな分散学習パラダイムとして、フェデレートラーニング(FL)を提唱している。 我々は,モデル平均化と勾配共有原理に基づく2つの新しいFedMFアルゴリズム,すなわちFedMAvgとFedMGSを提案する。
  論文  参考訳（メタデータ） (2020-02-12T11:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。