論文の概要: Network EM Algorithm for Gaussian Mixture Model in Decentralized Federated Learning

• arxiv url: http://arxiv.org/abs/2411.05591v1
• Date: Fri, 08 Nov 2024 14:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:55:38.873148
• Title: Network EM Algorithm for Gaussian Mixture Model in Decentralized Federated Learning
• Title（参考訳）: 分散型フェデレーション学習におけるガウス混合モデルのネットワークEMアルゴリズム
• Authors: Shuyuan Wu, Bin Du, Xuetong Li, Hansheng Wang,
• Abstract要約: ガウス混合モデルに対する様々なネットワーク期待-最大化(EM)アルゴリズムについて検討する。 モーメント・ネットワークEM (MNEM) アルゴリズムを導入し, モーメント・パラメータを用いて現在の推定値と過去の推定値の両方からの情報を組み合わせる。 また,部分ラベル付きデータを利用する半教師付きMNEMアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 1.4549461207028445
• License:
• Abstract: We systematically study various network Expectation-Maximization (EM) algorithms for the Gaussian mixture model within the framework of decentralized federated learning. Our theoretical investigation reveals that directly extending the classical decentralized supervised learning method to the EM algorithm exhibits poor estimation accuracy with heterogeneous data across clients and struggles to converge numerically when Gaussian components are poorly-separated. To address these issues, we propose two novel solutions. First, to handle heterogeneous data, we introduce a momentum network EM (MNEM) algorithm, which uses a momentum parameter to combine information from both the current and historical estimators. Second, to tackle the challenge of poorly-separated Gaussian components, we develop a semi-supervised MNEM (semi-MNEM) algorithm, which leverages partially labeled data. Rigorous theoretical analysis demonstrates that MNEM can achieve statistical efficiency comparable to that of the whole sample estimator when the mixture components satisfy certain separation conditions, even in heterogeneous scenarios. Moreover, the semi-MNEM estimator enhances the convergence speed of the MNEM algorithm, effectively addressing the numerical convergence challenges in poorly-separated scenarios. Extensive simulation and real data analyses are conducted to justify our theoretical findings.
• Abstract（参考訳）: 我々は,分散化フェデレーション学習の枠組みの中で,ガウス混合モデルに対する様々なネットワーク期待-最大化(EM)アルゴリズムを体系的に研究する。 我々の理論的研究は、古典的な分散化された教師付き学習法を直接EMアルゴリズムに拡張することで、クライアント間の不均一なデータによる推定精度が低下し、ガウス成分が不十分な場合に数値的に収束することが困難であることを示している。 これらの問題に対処するため、我々は2つの新しい解決策を提案する。 まず, モーメント・ネットワーク・EM (MNEM) アルゴリズムを導入し, モーメント・パラメータを用いて, 現在の推定値と過去の推定値の両方からの情報を組み合わせる。 次に, 半教師付きMNEM (semi-MNEM) アルゴリズムを開発した。 厳密な理論解析により、MNEMは、不均一なシナリオであっても、混合成分が特定の分離条件を満たす場合、サンプル推定器全体と同等の統計的効率が得られることを示した。 さらに、半MNEM推定器は、MNEMアルゴリズムの収束速度を高め、未分離シナリオにおける数値収束問題に効果的に対処する。 理論的な知見を正当化するために, 大規模シミュレーションと実データ解析を行った。

関連論文リスト

• Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
  本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。 エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。 我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
  論文  参考訳（メタデータ） (2024-04-30T06:48:56Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Distributed Learning of Mixtures of Experts [0.0]
  私たちは、自然に分散されたデータセットや、計算を分散する潜在的に大きなデータセットを扱います。 本研究では,データ分散サブセットに並列に適合する局所的推定器から還元推定器を構築するために,専門家(MoE)モデルとアグリゲーション戦略を併用した分散学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:26:13Z)
• Distributed Linear Regression with Compositional Covariates [5.085889377571319]
  大規模合成データにおける分散スパースペナル化線形ログコントラストモデルに着目する。 2つの異なる制約凸最適化問題を解くために2つの分散最適化手法を提案する。 分散化されたトポロジでは、通信効率の高い正規化推定値を得るための分散座標ワイド降下アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-21T11:09:37Z)
• Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
  エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。 モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。 ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
  論文  参考訳（メタデータ） (2023-05-30T21:07:52Z)
• Towards Convergence Rates for Parameter Estimation in Gaussian-gated Mixture of Experts [40.24720443257405]
  ガウスゲートMOEモデルにおける最大推定値(MLE)の収束解析を行う。 以上の結果から,MLEはガウスゲーティング関数の位置パラメータの2つの相補的な設定の下で異なる挙動を示すことが明らかとなった。 特に、これらの挙動は2つの異なる方程式系の可解性によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-05-12T16:02:19Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Decentralized EM to Learn Gaussian Mixtures from Datasets Distributed by Features [0.0]
  我々は、ガウス混合を垂直分割データに適合させるEMベースのアルゴリズムを提供する。 フェデレート学習では,部分空間に制約されたガウス混合の集中EMフィッティングとマッチングする。 我々は、合成データと実データの両方の様々なトポロジについてVP-EMを実証し、中央集権EMの近似を評価し、利用可能なベンチマークを上回っていることを確認した。
  論文  参考訳（メタデータ） (2022-01-24T21:37:11Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。