論文の概要: Towards the Theory of Unsupervised Federated Learning: Non-asymptotic Analysis of Federated EM Algorithms

• arxiv url: http://arxiv.org/abs/2310.15330v3
• Date: Fri, 14 Jun 2024 23:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 12:20:53.122565
• Title: Towards the Theory of Unsupervised Federated Learning: Non-asymptotic Analysis of Federated EM Algorithms
• Title（参考訳）: 教師なしフェデレーション学習の理論に向けて:フェデレーションEMアルゴリズムの非漸近解析
• Authors: Ye Tian, Haolei Weng, Yang Feng,
• Abstract要約: 混合モデルの教師なし学習のために設計されたフェデレート勾配EMアルゴリズム(FedGrEM)を導入する。 一般混合モデルに対する包括的有限サンプル理論を提案する。 次に、この一般理論を特定の統計モデルに適用し、モデルパラメータと混合比例の明示的な推定誤差を特徴づける。
• 参考スコア（独自算出の注目度）: 13.857921574409362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While supervised federated learning approaches have enjoyed significant success, the domain of unsupervised federated learning remains relatively underexplored. Several federated EM algorithms have gained popularity in practice, however, their theoretical foundations are often lacking. In this paper, we first introduce a federated gradient EM algorithm (FedGrEM) designed for the unsupervised learning of mixture models, which supplements the existing federated EM algorithms by considering task heterogeneity and potential adversarial attacks. We present a comprehensive finite-sample theory that holds for general mixture models, then apply this general theory on specific statistical models to characterize the explicit estimation error of model parameters and mixture proportions. Our theory elucidates when and how FedGrEM outperforms local single-task learning with insights extending to existing federated EM algorithms. This bridges the gap between their practical success and theoretical understanding. Our numerical results validate our theory, and demonstrate FedGrEM's superiority over existing unsupervised federated learning benchmarks.
• Abstract（参考訳）: 教師なし連合学習アプローチは大きな成功を収めてきたが、教師なし連合学習の領域はいまだに未発見のままである。 いくつかの連合EMアルゴリズムが実際に人気を博しているが、理論上の基礎はしばしば欠落している。 本稿では,まず,混合モデルの教師なし学習を目的としたFedGrEMアルゴリズムを提案する。 一般混合モデルに対する包括的有限サンプル理論を提案し、この一般理論を特定の統計モデルに適用し、モデルパラメータと混合比率の明示的な推定誤差を特徴づける。 我々の理論は、FedGrEMが、既存のフェデレーションEMアルゴリズムに拡張された洞察で、ローカルなシングルタスク学習をいつ、どのように改善するかを解明する。 このことは、実践的な成功と理論的理解のギャップを埋めるものである。 提案手法を検証し,FedGrEMが既存の教師なしフェデレート学習ベンチマークよりも優れていることを示す。

関連論文リスト

• Network EM Algorithm for Gaussian Mixture Model in Decentralized Federated Learning [1.4549461207028445]
  ガウス混合モデルに対する様々なネットワーク期待-最大化(EM)アルゴリズムについて検討する。 モーメント・ネットワークEM (MNEM) アルゴリズムを導入し, モーメント・パラメータを用いて現在の推定値と過去の推定値の両方からの情報を組み合わせる。 また,部分ラベル付きデータを利用する半教師付きMNEMアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-08T14:25:46Z)
• Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
  我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。 我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。 本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
  クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。 近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。 本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
  論文  参考訳（メタデータ） (2023-10-12T19:07:58Z)
• Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
  本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。 我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。 我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
  論文  参考訳（メタデータ） (2023-05-29T22:51:40Z)
• Federated Compositional Deep AUC Maximization [58.25078060952361]
  本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。 私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
  論文  参考訳（メタデータ） (2023-04-20T05:49:41Z)
• Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
  連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
  論文  参考訳（メタデータ） (2022-12-28T13:53:34Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Fine-tuning is Fine in Federated Learning [3.222802562733787]
  フレームワークにおけるフェデレーション学習アルゴリズムとその変種の性能について検討する。 このマルチクレーターアプローチは、フェデレーション学習の高次元、多次元的な性質を自然にモデル化する。
  論文  参考訳（メタデータ） (2021-08-16T18:59:24Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)
• FedDANE: A Federated Newton-Type Method [49.9423212899788]
  フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。 我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。