論文の概要: ClusterDDPM: An EM clustering framework with Denoising Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2312.08029v1
• Date: Wed, 13 Dec 2023 10:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 15:44:35.882595
• Title: ClusterDDPM: An EM clustering framework with Denoising Diffusion Probabilistic Models
• Title（参考訳）: clusterddpm:拡散確率モデルを用いたemクラスタリングフレームワーク
• Authors: Jie Yan, Jing Liu and Zhong-yuan Zhang
• Abstract要約: 拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。 本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。 Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
• 参考スコア（独自算出の注目度）: 9.91610928326645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational autoencoder (VAE) and generative adversarial networks (GAN) have found widespread applications in clustering and have achieved significant success. However, the potential of these approaches may be limited due to VAE's mediocre generation capability or GAN's well-known instability during adversarial training. In contrast, denoising diffusion probabilistic models (DDPMs) represent a new and promising class of generative models that may unlock fresh dimensions in clustering. In this study, we introduce an innovative expectation-maximization (EM) framework for clustering using DDPMs. In the E-step, we aim to derive a mixture of Gaussian priors for the subsequent M-step. In the M-step, our focus lies in learning clustering-friendly latent representations for the data by employing the conditional DDPM and matching the distribution of latent representations to the mixture of Gaussian priors. We present a rigorous theoretical analysis of the optimization process in the M-step, proving that the optimizations are equivalent to maximizing the lower bound of the Q function within the vanilla EM framework under certain constraints. Comprehensive experiments validate the advantages of the proposed framework, showcasing superior performance in clustering, unsupervised conditional generation and latent representation learning.
• Abstract（参考訳）: variational autoencoder (vae) とgenerative adversarial networks (gan) はクラスタリングに広く応用されており、大きな成功を収めている。 しかしながら、これらのアプローチのポテンシャルは、VAEの中間生成能力や、GANの敵対的訓練におけるよく知られた不安定性によって制限される可能性がある。 対照的に拡散確率モデル(DDPM)は、クラスタリングにおける新しい次元を解き放つ可能性のある新しい予測モデルである。 本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。 e-ステップでは、次のm-ステップのためにガウス前駆体の混合物を導出する。 m-ステップでは,条件付きddpmを用い,ガウス前駆体の混合に潜在表現の分布を整合させることで,クラスタリングにやさしいデータの潜在表現を学習することに注力する。 本稿では,mステップにおける最適化過程の厳密な理論的解析を行い,ある制約下でのバニラemフレームワーク内のq関数の下限を最大化することと同値であることを示す。 クラスタリング, 教師なし条件生成, 潜在表現学習における優れた性能を示すため, 提案フレームワークの利点を総合的に検証した。

関連論文リスト

• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。 厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。 視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• Interaction-Aware Gaussian Weighting for Clustered Federated Learning [58.92159838586751]
  フェデレートラーニング(FL)は、プライバシを維持しながらモデルをトレーニングするための分散パラダイムとして登場した。 本稿では,新たなクラスタリングFL法であるFedGWC(Federated Gaussian Weighting Clustering)を提案する。 ベンチマークデータセットを用いた実験により,FedGWCはクラスタの品質と分類精度において,既存のFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-02-05T16:33:36Z)
• Deep Generative Clustering with VAEs and Expectation-Maximization [1.8416014644193066]
  本稿では,変分オートエンコーダ(VAE)を期待最大化フレームワークに統合する新しいディープクラスタリング手法を提案する。 提案手法は,各クラスタの確率分布をVAEでモデル化し,モデルパラメータの更新を交互に行う。 これにより、各クラスタから有効なクラスタリングと新しいサンプルの生成が可能になる。
  論文  参考訳（メタデータ） (2025-01-13T14:26:39Z)
• Revisiting Self-Supervised Heterogeneous Graph Learning from Spectral Clustering Perspective [52.662463893268225]
  自己教師付きヘテロジニアスグラフ学習(SHGL)は様々なシナリオにおいて有望な可能性を示している。 既存のSHGLメソッドには2つの大きな制限がある。 ランクと二重整合性制約によって強化された新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-12-01T09:33:20Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Generative Marginalization Models [21.971818180264943]
  境界化モデル(英: marginalization model、MAM)は、高次元離散データのための新しい生成モデルである。 それらは、すべての誘導された限界分布を明示的にモデル化することによって、スケーラブルで柔軟な生成モデリングを提供する。 エネルギーベースのトレーニングタスクでは、MAMは従来の方法のスケールを超える高次元問題の任意の順序生成モデリングを可能にする。
  論文  参考訳（メタデータ） (2023-10-19T17:14:29Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• A Hybrid of Generative and Discriminative Models Based on the Gaussian-coupled Softmax Layer [5.33024001730262]
  本稿では,1つのニューラルネットワークにおける識別モデルと生成モデルのハイブリッドを学習する手法を提案する。 提案手法を半教師付き学習と信頼性校正に適用できることを実証する。
  論文  参考訳（メタデータ） (2023-05-10T05:48:22Z)
• Tight integration of neural- and clustering-based diarization through deep unfolding of infinite Gaussian mixture model [84.57667267657382]
  本稿では,統合フレームワークにトレーニング可能なクラスタリングアルゴリズムを導入する。 話者埋め込みはトレーニング中に最適化され、iGMMクラスタリングに適合する。 実験の結果,提案手法はダイアリゼーション誤差率において従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-02-14T07:45:21Z)
• Deep Conditional Gaussian Mixture Model for Constrained Clustering [7.070883800886882]
  制約付きクラスタリングは、部分的にラベル付けされたデータの増加量に関する事前情報を利用することができる。 本稿では、直感的で解釈可能で、勾配変動推論の枠組みで効率的に訓練できる制約付きクラスタリングのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T13:38:09Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。