論文の概要: Neural Mixture Models with Expectation-Maximization for End-to-end Deep Clustering

• arxiv url: http://arxiv.org/abs/2107.02453v1
• Date: Tue, 6 Jul 2021 08:00:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-07 14:03:33.843714
• Title: Neural Mixture Models with Expectation-Maximization for End-to-end Deep Clustering
• Title（参考訳）: エンドツーエンド深層クラスタリングのための期待最大化型ニューラルネットワーク混合モデル
• Authors: Dumindu Tissera, Kasun Vithanage, Rukshan Wijesinghe, Alex Xavier, Sanath Jayasena, Subha Fernando, Ranga Rodrigo
• Abstract要約: 本稿では,ニューラルネットワークを用いた混合モデルに基づくクラスタリングを実現する。 我々は,Eステップとして前方パス,Mステップとして後方パスを動作させるバッチワイズEMイテレーションにより,ネットワークのエンドツーエンドをトレーニングする。 トレーニングされたネットワークは、k-meansに依存した単一ステージのディープクラスタリング手法よりも優れています。
• 参考スコア（独自算出の注目度）: 0.8543753708890495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Any clustering algorithm must synchronously learn to model the clusters and allocate data to those clusters in the absence of labels. Mixture model-based methods model clusters with pre-defined statistical distributions and allocate data to those clusters based on the cluster likelihoods. They iteratively refine those distribution parameters and member assignments following the Expectation-Maximization (EM) algorithm. However, the cluster representability of such hand-designed distributions that employ a limited amount of parameters is not adequate for most real-world clustering tasks. In this paper, we realize mixture model-based clustering with a neural network where the final layer neurons, with the aid of an additional transformation, approximate cluster distribution outputs. The network parameters pose as the parameters of those distributions. The result is an elegant, much-generalized representation of clusters than a restricted mixture of hand-designed distributions. We train the network end-to-end via batch-wise EM iterations where the forward pass acts as the E-step and the backward pass acts as the M-step. In image clustering, the mixture-based EM objective can be used as the clustering objective along with existing representation learning methods. In particular, we show that when mixture-EM optimization is fused with consistency optimization, it improves the sole consistency optimization performance in clustering. Our trained networks outperform single-stage deep clustering methods that still depend on k-means, with unsupervised classification accuracy of 63.8% in STL10, 58% in CIFAR10, 25.9% in CIFAR100, and 98.9% in MNIST.
• Abstract（参考訳）: 任意のクラスタリングアルゴリズムは、同期的にクラスタをモデル化し、ラベルのないクラスタにデータを割り当てることを学びます。 混合モデルに基づく手法は、予め定義された統計分布を持つクラスタをモデル化し、クラスタの確率に基づいてクラスタにデータを割り当てる。 これらの分布パラメータとメンバー割り当ては、期待最大化(EM)アルゴリズムに従って反復的に洗練される。 しかし、限られた量のパラメータを用いた手作り分布のクラスタ表現性は、ほとんどの実世界のクラスタリングタスクには不十分である。 本稿では,ニューラルネットワークと混合モデルに基づくクラスタリングを実現し,最終層ニューロンを付加変換することにより,近似クラスタ分布出力を実現する。 ネットワークパラメータは、それらの分布のパラメータとして機能する。 その結果、手作りの分布の制限された混合物よりも、エレガントで広く一般化されたクラスタの表現となる。 我々は,Eステップとして前方パス,Mステップとして後方パスが動作するバッチワイズEMイテレーションを通じて,ネットワークのエンドツーエンドをトレーニングする。 画像クラスタリングでは、ミックスベースのEM目的を既存の表現学習手法とともにクラスタリングの対象として用いることができる。 特に,混合EM最適化と整合性最適化が融合すると,クラスタリングにおける単独の整合性最適化性能が向上することを示す。 STL10の63.8%、CIFAR10の58%、CIFAR100の25.9%、MNISTの98.9%の教師なし分類精度で、トレーニングされたネットワークはk-meansに依存した単一ステージのディープクラスタリング手法よりも優れています。

関連論文リスト

• Self-Supervised Graph Embedding Clustering [70.36328717683297]
  K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。 本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T08:59:51Z)
• Image Clustering Algorithm Based on Self-Supervised Pretrained Models and Latent Feature Distribution Optimization [4.39139858370436]
  本稿では,自己教師付き事前学習モデルと潜在特徴分布最適化に基づく画像クラスタリングアルゴリズムを提案する。 我々の手法は最新のクラスタリングアルゴリズムより優れ、最先端のクラスタリング結果が得られる。
  論文  参考訳（メタデータ） (2024-08-04T04:08:21Z)
• Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
  観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。 本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
  論文  参考訳（メタデータ） (2023-06-18T08:46:06Z)
• A One-shot Framework for Distributed Clustered Learning in Heterogeneous Environments [54.172993875654015]
  異種環境における分散学習のためのコミュニケーション効率化手法のファミリーを提案する。 ユーザによるローカル計算に基づくワンショットアプローチと、サーバにおけるクラスタリングベースのアグリゲーションステップは、強力な学習保証を提供する。 厳密な凸問題に対しては,ユーザ毎のデータ点数がしきい値を超える限り,提案手法はサンプルサイズの観点から順序最適平均二乗誤差率を達成する。
  論文  参考訳（メタデータ） (2022-09-22T09:04:10Z)
• clusterBMA: Bayesian model averaging for clustering [1.2021605201770345]
  本稿では、教師なしクラスタリングアルゴリズムの結果の重み付きモデル平均化を可能にするクラスタBMAを提案する。 クラスタリング内部検証基準を用いて、各モデルの結果の重み付けに使用される後続モデル確率の近似を開発する。 シミュレーションデータ上での他のアンサンブルクラスタリングメソッドのパフォーマンスに加えて、クラスタBMAは平均クラスタへの確率的アロケーションを含むユニークな機能を提供する。
  論文  参考訳（メタデータ） (2022-09-09T04:55:20Z)
• Learning Statistical Representation with Joint Deep Embedded Clustering [2.1267423178232407]
  StatDECは、共同統計表現学習とクラスタリングのための教師なしのフレームワークである。 実験により,これらの表現を用いることで,様々な画像データセットにまたがる不均衡な画像クラスタリングの結果を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2021-09-11T09:26:52Z)
• Efficient Large-Scale Face Clustering Using an Online Mixture of Gaussians [1.3101369903953806]
  大規模オンライン顔クラスタリングのためのオンラインガウス混合クラスタリング法(OGMC)を提案する。 受信面から抽出された特徴ベクトル(fベクトル)を使用して、OGMCは、その近接性と堅牢性に応じて、他の人と接続できるクラスタを生成します。 実験の結果,提案手法は大規模フェースクラスタリングベンチマークにおける最先端のクラスタリング手法を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-31T17:59:38Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)
• Contrastive Clustering [57.71729650297379]
  本稿では,インスタンスレベルのコントラスト学習を明示的に行うContrastive Clustering (CC)を提案する。 特にCCは、CIFAR-10(CIFAR-100)データセット上で0.705(0.431)のNMIを達成しており、最高のベースラインと比較して最大19%(39%)のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-09-21T08:54:40Z)
• LSD-C: Linearly Separable Deep Clusters [145.89790963544314]
  ラベルなしデータセットのクラスタを識別する新しい手法であるLSD-Cを提案する。 本手法は,最近の半教師付き学習の実践からインスピレーションを得て,クラスタリングアルゴリズムと自己教師付き事前学習と強力なデータ拡張を組み合わせることを提案する。 CIFAR 10/100, STL 10, MNIST, および文書分類データセットReuters 10Kなど, 一般的な公開画像ベンチマークにおいて, 当社のアプローチが競合より大幅に優れていたことを示す。
  論文  参考訳（メタデータ） (2020-06-17T17:58:10Z)
• Improving k-Means Clustering Performance with Disentangled Internal Representations [0.0]
  本稿では,オートエンコーダの学習遅延符号表現の絡み合いを最適化する,シンプルなアプローチを提案する。 提案手法を用いて,MNISTデータセットでは96.2%,Fashion-MNISTデータセットでは85.6%,EMNIST Balancedデータセットでは79.2%,ベースラインモデルでは79.2%であった。
  論文  参考訳（メタデータ） (2020-06-05T11:32:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。