論文の概要: Neural Manifold Clustering and Embedding
- arxiv url: http://arxiv.org/abs/2201.10000v1
- Date: Mon, 24 Jan 2022 23:13:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 08:57:31.827060
- Title: Neural Manifold Clustering and Embedding
- Title（参考訳）: 神経マニフォールドクラスタリングと埋め込み
- Authors: Zengyi Li, Yubei Chen, Yann LeCun, Friedrich T. Sommer
- Abstract要約: 非線型部分空間クラスタリングや多様体クラスタリングは、多様体構造に基づいてデータポイントをクラスタリングすることを目的としており、各多様体を特徴空間内の線型部分空間としてパラメータ化することを学ぶ。
ディープニューラルネットワークは、大きなキャパシティと柔軟性を考えると、高非線形設定でこの目標を達成する可能性がある。
ニューラルネットワークを用いた多様体クラスタリングを実現するには、多様体の識別を保証する領域固有の制約と、特徴空間内の線型部分空間に各多様体を埋め込む学習アルゴリズムの2つの重要な要素が必要であると論じる。
- 参考スコア（独自算出の注目度）: 13.08270828061924
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given a union of non-linear manifolds, non-linear subspace clustering or
manifold clustering aims to cluster data points based on manifold structures
and also learn to parameterize each manifold as a linear subspace in a feature
space. Deep neural networks have the potential to achieve this goal under
highly non-linear settings given their large capacity and flexibility. We argue
that achieving manifold clustering with neural networks requires two essential
ingredients: a domain-specific constraint that ensures the identification of
the manifolds, and a learning algorithm for embedding each manifold to a linear
subspace in the feature space. This work shows that many constraints can be
implemented by data augmentation. For subspace feature learning, Maximum Coding
Rate Reduction (MCR$^2$) objective can be used. Putting them together yields
{\em Neural Manifold Clustering and Embedding} (NMCE), a novel method for
general purpose manifold clustering, which significantly outperforms
autoencoder-based deep subspace clustering. Further, on more challenging
natural image datasets, NMCE can also outperform other algorithms specifically
designed for clustering. Qualitatively, we demonstrate that NMCE learns a
meaningful and interpretable feature space. As the formulation of NMCE is
closely related to several important Self-supervised learning (SSL) methods, we
believe this work can help us build a deeper understanding on SSL
representation learning.
- Abstract（参考訳）: 非線形多様体の和が与えられると、非線形部分空間クラスタリング(non-linear subspace clustering)または多様体クラスタリング( manifold clustering)は、多様体構造に基づく集合データポイントを対象とし、各多様体を特徴空間内の線型部分空間としてパラメータ化することを学ぶ。
ディープニューラルネットワークは、大きなキャパシティと柔軟性を考えると、高非線形設定でこの目標を達成する可能性がある。
ニューラルネットワークを用いた多様体クラスタリングを実現するには、多様体の識別を保証する領域固有の制約と、特徴空間内の線型部分空間に各多様体を埋め込む学習アルゴリズムの2つの重要な要素が必要である。
この研究は、データ拡張によって多くの制約を実装することができることを示している。
部分空間特徴学習には、最大符号化率削減(mcr$^2$)目的を用いることができる。
それらをひとつにまとめると、汎用多様体クラスタリングの新しい手法であるニューラルマニフォールドクラスタリングと埋め込み (NMCE) が得られ、オートエンコーダベースのディープサブスペースクラスタリングを著しく上回る。
さらに、より困難な自然画像データセットでは、NMCEはクラスタリング用に設計された他のアルゴリズムよりも優れている。
定性的に、NMCEは有意義で解釈可能な特徴空間を学ぶことを実証する。
NMCEの定式化は、いくつかの重要な自己教師付き学習(SSL)手法と密接に関連しているため、この研究はSSL表現学習に関するより深い理解を構築するのに役立つと考えています。
関連論文リスト
- OMH: Structured Sparsity via Optimally Matched Hierarchy for Unsupervised Semantic Segmentation [69.37484603556307]
Un Semantic segmenting (USS)は、事前に定義されたラベルに頼ることなく、イメージをセグメント化する。
上記の問題を同時に解決するために,OMH (Optimally Matched Hierarchy) という新しいアプローチを導入する。
我々のOMHは既存のUSS法と比較して教師なしセグメンテーション性能がよい。
論文 参考訳（メタデータ） (2024-03-11T09:46:41Z) - Deep Structure and Attention Aware Subspace Clustering [29.967881186297582]
本稿では,新しいサブスペースクラスタリング(DSASC)を提案する。
視覚変換器を用いて特徴を抽出し,抽出した特徴を2つの部分,構造特徴,内容特徴に分割する。
我々の手法は最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2023-12-25T01:19:47Z) - Multi-view Subspace Adaptive Learning via Autoencoder and Attention [3.8574404853067215]
我々は,アテンションとオートエンコーダ(MSALAA)に基づくマルチビューサブスペース適応学習を提案する。
この方法は、ディープオートエンコーダと、様々なビューの自己表現を調整する方法を組み合わせる。
6つの実生活データセット上で,既存のベースライン手法に対する顕著な改善を実証的に観察した。
論文 参考訳（メタデータ） (2022-01-01T11:31:52Z) - Deep Attention-guided Graph Clustering with Dual Self-supervision [49.040136530379094]
デュアル・セルフ・スーパービジョン(DAGC)を用いたディープアテンション誘導グラフクラスタリング法を提案する。
我々は,三重項Kulback-Leibler分散損失を持つソフトな自己スーパービジョン戦略と,擬似的な監督損失を持つハードな自己スーパービジョン戦略からなる二重自己スーパービジョンソリューションを開発する。
提案手法は6つのベンチマークデータセットにおける最先端の手法より一貫して優れている。
論文 参考訳（メタデータ） (2021-11-10T06:53:03Z) - Attention-driven Graph Clustering Network [49.040136530379094]
我々は、注意駆動グラフクラスタリングネットワーク(AGCN)という新しいディープクラスタリング手法を提案する。
AGCNは、ノード属性特徴とトポロジグラフ特徴を動的に融合するために、不均一な融合モジュールを利用する。
AGCNは、教師なしの方法で特徴学習とクラスタ割り当てを共同で行うことができる。
論文 参考訳（メタデータ） (2021-08-12T02:30:38Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳（メタデータ） (2021-05-26T18:07:19Z) - Joint Optimization of an Autoencoder for Clustering and Embedding [22.16059261437617]
本稿では,自動エンコーダとクラスタリングを同時に学習する代替手法を提案する。
この単純なニューラルネットワークはクラスタリングモジュールと呼ばれ、ディープオートエンコーダに統合され、ディープクラスタリングモデルとなる。
論文 参考訳（メタデータ） (2020-12-07T14:38:10Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - AutoEmbedder: A semi-supervised DNN embedding system for clustering [0.0]
本稿では,高次元データをクラスタリング可能な埋め込みポイントにダウンサンプリングする,AutoEmbedderという新しい埋め込みシステムを提案する。
トレーニングプロセスは半教師付きで、Siameseネットワークアーキテクチャを使用して、機能学習フェーズにおけるペアワイズ制約損失を計算します。
論文 参考訳（メタデータ） (2020-07-11T19:00:45Z) - Spatial and spectral deep attention fusion for multi-channel speech
separation using deep embedding features [60.20150317299749]
マルチチャネルディープクラスタリング(MDC)は、音声分離に優れた性能を得た。
本研究では,スペクトルおよび空間的特徴の重みを動的に制御し,それらを深く結合するディープ・アテンション・フュージョン法を提案する。
実験結果から,提案手法はMDCベースラインよりも優れ,理想的なバイナリマスク(IBM)よりも優れていた。
論文 参考訳（メタデータ） (2020-02-05T03:49:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。