論文の概要: Contrastive Multi-Modal Clustering

• arxiv url: http://arxiv.org/abs/2106.11193v1
• Date: Mon, 21 Jun 2021 15:32:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-22 15:46:36.390648
• Title: Contrastive Multi-Modal Clustering
• Title（参考訳）: 対照的なマルチモーダルクラスタリング
• Authors: Jie Xu, Huayi Tang, Yazhou Ren, Xiaofeng Zhu, Lifang He
• Abstract要約: コントラッシブ・マルチモーダル・クラスタリング(CMMC)を提案する。 CMMCはスケーラビリティに優れ、最先端のマルチモーダルクラスタリング手法よりも優れています。
• 参考スコア（独自算出の注目度）: 22.117014300127423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal clustering, which explores complementary information from multiple modalities or views, has attracted people's increasing attentions. However, existing works rarely focus on extracting high-level semantic information of multiple modalities for clustering. In this paper, we propose Contrastive Multi-Modal Clustering (CMMC) which can mine high-level semantic information via contrastive learning. Concretely, our framework consists of three parts. (1) Multiple autoencoders are optimized to maintain each modality's diversity to learn complementary information. (2) A feature contrastive module is proposed to learn common high-level semantic features from different modalities. (3) A label contrastive module aims to learn consistent cluster assignments for all modalities. By the proposed multi-modal contrastive learning, the mutual information of high-level features is maximized, while the diversity of the low-level latent features is maintained. In addition, to utilize the learned high-level semantic features, we further generate pseudo labels by solving a maximum matching problem to fine-tune the cluster assignments. Extensive experiments demonstrate that CMMC has good scalability and outperforms state-of-the-art multi-modal clustering methods.
• Abstract（参考訳）: 複数のモダリティやビューから補完的な情報を探索するマルチモーダルクラスタリングは、人々の注目を集めている。 しかし、既存の研究はクラスタリングのための複数のモーダルの高レベルな意味情報を抽出することに集中することは滅多にない。 本稿では,コントラスト学習を通じてハイレベルな意味情報をマイニングできるコントラスト型マルチモーダルクラスタリング(cmmc)を提案する。 具体的には、我々のフレームワークは3つの部分から構成される。 1) 複数のオートエンコーダを最適化し、各モダリティの多様性を維持し、補完的情報を学習する。 2) 異なるモダリティから共通する高レベルな意味的特徴を学習するために,特徴対照モジュールを提案する。 (3) ラベルコントラストモジュールは,全てのモダリティに対して一貫したクラスタ割り当てを学習することを目的としている。 提案するマルチモーダルコントラスト学習により,高レベル特徴の相互情報が最大化され,低レベル潜在特徴の多様性が維持される。 さらに,学習したハイレベルな意味的特徴を活用するために,クラスタ割り当てを微調整する最大マッチング問題を解いて擬似ラベルを生成する。 CMMCはスケーラビリティに優れ、最先端のマルチモーダルクラスタリング手法よりも優れた性能を示す。

関連論文リスト

• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Towards Generalized Multi-stage Clustering: Multi-view Self-distillation [10.368796552760571]
  既存のマルチステージクラスタリング手法は、独立して複数のビューから健全な特徴を学習し、クラスタリングタスクを実行する。 本稿では,多視点自己蒸留(DistilMVC)を導入し,ラベル分布の暗黒知識を抽出する多段階深層MVCフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-29T03:35:34Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• One-step Multi-view Clustering with Diverse Representation [47.41455937479201]
  本稿では,多視点学習と$k$-meansを統合フレームワークに組み込んだ一段階のマルチビュークラスタリングを提案する。 そこで本研究では,効率の良い最適化アルゴリズムを開発し,その解法について述べる。
  論文  参考訳（メタデータ） (2023-06-08T02:52:24Z)
• Multi-view Semantic Consistency based Information Bottleneck for Clustering [13.589996737740208]
  クラスタリングのための多視点セマンティック一貫性に基づく情報ボトルネック(MSCIB)について紹介する。 MSCIBは、異なる視点における情報ボトルネックの学習プロセスを改善するために、セマンティック一貫性を追求する。 セマンティック空間における複数のビューのアライメント操作を行い、多視点データの貴重な一貫した情報を共同で達成する。
  論文  参考訳（メタデータ） (2023-02-28T02:01:58Z)
• MCoCo: Multi-level Consistency Collaborative Multi-view Clustering [15.743056561394612]
  マルチビュークラスタリングは、異なるビューからの一貫性のある情報を調べて、クラスタリングをガイドする。 マルチビュークラスタリングのための新しいMCoCo(Multi-level Consistency Collaborative Learning framework)を提案する。
  論文  参考訳（メタデータ） (2023-02-26T16:08:53Z)
• Dual Information Enhanced Multi-view Attributed Graph Clustering [11.624319530337038]
  本稿では,Dual Information enhanced Multi-view Attributed Graph Clustering (DIAGC)法を提案する。 提案手法では,複数の視点からのコンセンサスと特定情報の探索を阻害する特定情報再構成(SIR)モジュールを提案する。 相互情報最大化(MIM)モジュールは、潜在高レベル表現と低レベル表現との合意を最大化し、高レベル表現が所望のクラスタリング構造を満たすことを可能にする。
  論文  参考訳（メタデータ） (2022-11-28T01:18:04Z)
• Deep Attention-guided Graph Clustering with Dual Self-supervision [49.040136530379094]
  デュアル・セルフ・スーパービジョン(DAGC)を用いたディープアテンション誘導グラフクラスタリング法を提案する。 我々は,三重項Kulback-Leibler分散損失を持つソフトな自己スーパービジョン戦略と,擬似的な監督損失を持つハードな自己スーパービジョン戦略からなる二重自己スーパービジョンソリューションを開発する。 提案手法は6つのベンチマークデータセットにおける最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-10T06:53:03Z)
• Unsupervised Person Re-Identification with Multi-Label Learning Guided Self-Paced Clustering [48.31017226618255]
  近年、未監修者再確認(Re-ID)が注目されています。 本論文では,教師なしのRe-IDを,MLC(Multi-label Learning Guide Self-paced Clustering)と呼ばれる概念的に斬新かつ単純なフレームワークで対処する。 MLCは主に3つの重要なモジュール(マルチスケールネットワーク、マルチラベル学習モジュール、セルフペースクラスタリングモジュール)で識別的特徴を学習する。
  論文  参考訳（メタデータ） (2021-03-08T07:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。