論文の概要: ClusterDDPM: An EM clustering framework with Denoising Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2312.08029v1
• Date: Wed, 13 Dec 2023 10:04:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 15:44:35.882595
• Title: ClusterDDPM: An EM clustering framework with Denoising Diffusion Probabilistic Models
• Title（参考訳）: clusterddpm:拡散確率モデルを用いたemクラスタリングフレームワーク
• Authors: Jie Yan, Jing Liu and Zhong-yuan Zhang
• Abstract要約: 拡散確率モデル(DDPM)は、新しい、そして有望な生成モデルのクラスを表す。 本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。 Mステップでは、条件付きDDPMを用いてクラスタリングに親しみやすい潜在表現を学習し、潜在表現の分布をガウスの先行表現の混合と整合させることに重点を置いている。
• 参考スコア（独自算出の注目度）: 9.91610928326645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational autoencoder (VAE) and generative adversarial networks (GAN) have found widespread applications in clustering and have achieved significant success. However, the potential of these approaches may be limited due to VAE's mediocre generation capability or GAN's well-known instability during adversarial training. In contrast, denoising diffusion probabilistic models (DDPMs) represent a new and promising class of generative models that may unlock fresh dimensions in clustering. In this study, we introduce an innovative expectation-maximization (EM) framework for clustering using DDPMs. In the E-step, we aim to derive a mixture of Gaussian priors for the subsequent M-step. In the M-step, our focus lies in learning clustering-friendly latent representations for the data by employing the conditional DDPM and matching the distribution of latent representations to the mixture of Gaussian priors. We present a rigorous theoretical analysis of the optimization process in the M-step, proving that the optimizations are equivalent to maximizing the lower bound of the Q function within the vanilla EM framework under certain constraints. Comprehensive experiments validate the advantages of the proposed framework, showcasing superior performance in clustering, unsupervised conditional generation and latent representation learning.
• Abstract（参考訳）: variational autoencoder (vae) とgenerative adversarial networks (gan) はクラスタリングに広く応用されており、大きな成功を収めている。 しかしながら、これらのアプローチのポテンシャルは、VAEの中間生成能力や、GANの敵対的訓練におけるよく知られた不安定性によって制限される可能性がある。 対照的に拡散確率モデル(DDPM)は、クラスタリングにおける新しい次元を解き放つ可能性のある新しい予測モデルである。 本研究では,DDPMを用いたクラスタリングのための革新的予測最大化(EM)フレームワークを提案する。 e-ステップでは、次のm-ステップのためにガウス前駆体の混合物を導出する。 m-ステップでは,条件付きddpmを用い,ガウス前駆体の混合に潜在表現の分布を整合させることで,クラスタリングにやさしいデータの潜在表現を学習することに注力する。 本稿では,mステップにおける最適化過程の厳密な理論的解析を行い,ある制約下でのバニラemフレームワーク内のq関数の下限を最大化することと同値であることを示す。 クラスタリング, 教師なし条件生成, 潜在表現学習における優れた性能を示すため, 提案フレームワークの利点を総合的に検証した。

関連論文リスト

• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Class-Incremental Mixture of Gaussians for Deep Continual Learning [15.49323098362628]
  本稿では,ガウスモデルの混合を連続学習フレームワークに組み込むことを提案する。 固定抽出器を用いたメモリフリーシナリオにおいて,本モデルが効果的に学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-09T04:33:19Z)
• End-to-end Differentiable Clustering with Associative Memories [23.618514621460694]
  クラスタリングは、集中的な離散最適化問題を含む、広く使われている教師なし学習手法である。 本稿では,離散クラスタリング問題の非拘束的連続緩和を提案し,ClAMと呼ばれるAMによるエンドツーエンドの微分可能なクラスタリングを実現する。 各種データセットに対する評価では、ClAMは自己スーパービジョンの恩恵を受けており、従来のロイドのk平均アルゴリズムと、より最近の連続的なクラスタリング緩和(シルエット係数の60%まで)の両方で大幅に改善されていることが示されている。
  論文  参考訳（メタデータ） (2023-06-05T19:34:36Z)
• A Hybrid of Generative and Discriminative Models Based on the Gaussian-coupled Softmax Layer [5.33024001730262]
  本稿では,1つのニューラルネットワークにおける識別モデルと生成モデルのハイブリッドを学習する手法を提案する。 提案手法を半教師付き学習と信頼性校正に適用できることを実証する。
  論文  参考訳（メタデータ） (2023-05-10T05:48:22Z)
• Tight integration of neural- and clustering-based diarization through deep unfolding of infinite Gaussian mixture model [84.57667267657382]
  本稿では,統合フレームワークにトレーニング可能なクラスタリングアルゴリズムを導入する。 話者埋め込みはトレーニング中に最適化され、iGMMクラスタリングに適合する。 実験の結果,提案手法はダイアリゼーション誤差率において従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-02-14T07:45:21Z)
• Deep Conditional Gaussian Mixture Model for Constrained Clustering [7.070883800886882]
  制約付きクラスタリングは、部分的にラベル付けされたデータの増加量に関する事前情報を利用することができる。 本稿では、直感的で解釈可能で、勾配変動推論の枠組みで効率的に訓練できる制約付きクラスタリングのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T13:38:09Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。