論文の概要: Unsupervised Federated Learning: A Federated Gradient EM Algorithm for Heterogeneous Mixture Models with Robustness against Adversarial Attacks

• arxiv url: http://arxiv.org/abs/2310.15330v1
• Date: Mon, 23 Oct 2023 19:53:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 21:40:53.787730
• Title: Unsupervised Federated Learning: A Federated Gradient EM Algorithm for Heterogeneous Mixture Models with Robustness against Adversarial Attacks
• Title（参考訳）: 教師なしフェデレート学習: 対向攻撃に対するロバスト性をもつ不均一混合モデルに対するフェデレート・グラディエントEMアルゴリズム
• Authors: Ye Tian, Haolei Weng, Yang Feng
• Abstract要約: 本稿では,タスク間の不均一な混合比率を持つ混合モデルの教師なし学習を目的とした,新しい連邦勾配EMアルゴリズムを提案する。 提案した勾配EMアルゴリズムは,未知のタスク類似性への適応性,少数のデータソースに対する敵攻撃に対するレジリエンス,ローカルデータプライバシの保護,計算および通信効率など,いくつかの重要な利点を示す。
• 参考スコア（独自算出の注目度）: 15.574915079821473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While supervised federated learning approaches have enjoyed significant success, the domain of unsupervised federated learning remains relatively underexplored. In this paper, we introduce a novel federated gradient EM algorithm designed for the unsupervised learning of mixture models with heterogeneous mixture proportions across tasks. We begin with a comprehensive finite-sample theory that holds for general mixture models, then apply this general theory on Gaussian Mixture Models (GMMs) and Mixture of Regressions (MoRs) to characterize the explicit estimation error of model parameters and mixture proportions. Our proposed federated gradient EM algorithm demonstrates several key advantages: adaptability to unknown task similarity, resilience against adversarial attacks on a small fraction of data sources, protection of local data privacy, and computational and communication efficiency.
• Abstract（参考訳）: 教師なし連合学習アプローチは大きな成功を収めてきたが、教師なし連合学習の領域はいまだに未発見のままである。 本稿では,タスク間の不均一な混合比率を持つ混合モデルの教師なし学習を目的とした,新しい連邦勾配EMアルゴリズムを提案する。 一般混合モデルに対する包括的有限サンプル理論から始まり、モデルパラメータと混合比の明示的な推定誤差を特徴づけるために、この一般理論をガウス混合モデル(GMM)と回帰の混合理論(MoR)に適用する。 提案アルゴリズムは,未知のタスク類似性への適応性,少数のデータソースに対する敵攻撃に対するレジリエンス,ローカルデータプライバシ保護,計算および通信効率など,いくつかの重要な利点を示す。

関連論文リスト

• Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
  我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。 我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。 本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
  クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。 近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。 本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
  論文  参考訳（メタデータ） (2023-10-12T19:07:58Z)
• Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
  本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。 我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。 我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
  論文  参考訳（メタデータ） (2023-05-29T22:51:40Z)
• Federated Compositional Deep AUC Maximization [58.25078060952361]
  本研究では,曲線(AUC)のスコアを直接最適化することにより,不均衡なデータに対する新しいフェデレート学習法を開発した。 私たちの知る限りでは、このような好ましい理論的な結果を達成した最初の作品である。
  論文  参考訳（メタデータ） (2023-04-20T05:49:41Z)
• Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
  連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
  論文  参考訳（メタデータ） (2022-12-28T13:53:34Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Fine-tuning is Fine in Federated Learning [3.222802562733787]
  フレームワークにおけるフェデレーション学習アルゴリズムとその変種の性能について検討する。 このマルチクレーターアプローチは、フェデレーション学習の高次元、多次元的な性質を自然にモデル化する。
  論文  参考訳（メタデータ） (2021-08-16T18:59:24Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)
• Federated Multi-armed Bandits with Personalization [19.85013388155711]
  教師付き学習におけるフェデレーションラーニング(FL)フレームワークに類似した新たなバンディットパラダイムを提案する。 PF-MABフレームワークの下で、一般化とパーソナライゼーションを柔軟にバランスさせる混合バンディット学習問題を研究する。 そこで我々は,探索長を慎重に選択するPersonalized Federated Upper Confidence Bound (PF-UCB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T18:59:43Z)
• FedDANE: A Federated Newton-Type Method [49.9423212899788]
  フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。 我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
  論文  参考訳（メタデータ） (2020-01-07T07:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。