論文の概要: Decentralized EM to Learn Gaussian Mixtures from Datasets Distributed by Features

• arxiv url: http://arxiv.org/abs/2201.09965v1
• Date: Mon, 24 Jan 2022 21:37:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-26 15:34:26.620272
• Title: Decentralized EM to Learn Gaussian Mixtures from Datasets Distributed by Features
• Title（参考訳）: 特徴分散データセットからガウス混合学習のための分散em
• Authors: Pedro Valdeira, Cl\'audia Soares, Jo\~ao Xavier
• Abstract要約: 我々は、ガウス混合を垂直分割データに適合させるEMベースのアルゴリズムを提供する。 フェデレート学習では,部分空間に制約されたガウス混合の集中EMフィッティングとマッチングする。 我々は、合成データと実データの両方の様々なトポロジについてVP-EMを実証し、中央集権EMの近似を評価し、利用可能なベンチマークを上回っていることを確認した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Expectation Maximization (EM) is the standard method to learn Gaussian mixtures. Yet its classic, centralized form is often infeasible, due to privacy concerns and computational and communication bottlenecks. Prior work dealt with data distributed by examples, horizontal partitioning, but we lack a counterpart for data scattered by features, an increasingly common scheme (e.g. user profiling with data from multiple entities). To fill this gap, we provide an EM-based algorithm to fit Gaussian mixtures to Vertically Partitioned data (VP-EM). In federated learning setups, our algorithm matches the centralized EM fitting of Gaussian mixtures constrained to a subspace. In arbitrary communication graphs, consensus averaging allows VP-EM to run on large peer-to-peer networks as an EM approximation. This mismatch comes from consensus error only, which vanishes exponentially fast with the number of consensus rounds. We demonstrate VP-EM on various topologies for both synthetic and real data, evaluating its approximation of centralized EM and seeing that it outperforms the available benchmark.
• Abstract（参考訳）: 期待最大化(EM)はガウス混合を学習する標準的な方法である。 しかし、プライバシの懸念と計算と通信のボトルネックのため、古典的で集中型の形式はしばしば実現不可能である。 以前の作業では、例によって分散されたデータ、水平パーティショニング、そして機能によって分散されたデータ(例えば、複数のエンティティからのデータでユーザープロファイリングするなど)を扱うことができませんでした。 このギャップを埋めるために,gaussian mixedsを垂直分割データ(vp-em)に適合させるemアルゴリズムを提案する。 フェデレーション学習では,アルゴリズムは部分空間に制約されたガウス混合の集中em適合性に適合する。 任意の通信グラフにおいて、コンセンサス平均化により、vp-emは大きなピアツーピアネットワーク上でem近似として動作することができる。 このミスマッチは、コンセンサスラウンドの数で指数関数的に速く消えるコンセンサスエラーのみから生じる。 合成データと実データの両方の様々なトポロジ上でvp-emをデモし、その集中型emの近似を評価し、利用可能なベンチマークを上回っていることを確かめる。

関連論文リスト

• Network EM Algorithm for Gaussian Mixture Model in Decentralized Federated Learning [1.4549461207028445]
  ガウス混合モデルに対する様々なネットワーク期待-最大化(EM)アルゴリズムについて検討する。 モーメント・ネットワークEM (MNEM) アルゴリズムを導入し, モーメント・パラメータを用いて現在の推定値と過去の推定値の両方からの情報を組み合わせる。 また,部分ラベル付きデータを利用する半教師付きMNEMアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-11-08T14:25:46Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Learning Mixtures of Gaussians Using the DDPM Objective [11.086440815804226]
  本研究では, 拡散確率モデル(DDPM)の目標値の勾配勾配が混合モデルの真理パラメータを効率的に回収できることを証明した。 この証明の鍵となる要素は、スコアベース手法と他の2つの分散学習アプローチの新たな関連性である。
  論文  参考訳（メタデータ） (2023-07-03T17:44:22Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Improvements to Supervised EM Learning of Shared Kernel Models by Feature Space Partitioning [0.0]
  本稿では、EMトレーニングアルゴリズムの導出における厳密さの欠如と、その手法の計算複雑性について述べる。 まず、ガウス共有カーネルモデル PRBF 分類器に対して、EM の詳細な導出を行う。 結果のSKEMアルゴリズムの複雑さを軽減するために、特徴空間を変数の非重複部分集合の$R$に分割する。
  論文  参考訳（メタデータ） (2022-05-31T09:18:58Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Handling missing data in model-based clustering [0.0]
  欠損データの存在下でガウス混合体を適合させる2つの方法を提案する。 どちらの手法もデータ拡張のためにモンテカルロ予測最大化アルゴリズムの変種を用いる。 提案手法はクラスタ同定と密度推定の両面で多重計算手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-04T15:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。