論文の概要: Towards Generalized Multi-stage Clustering: Multi-view Self-distillation

• arxiv url: http://arxiv.org/abs/2310.18890v2
• Date: Sat, 16 Dec 2023 15:24:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 19:46:28.925833
• Title: Towards Generalized Multi-stage Clustering: Multi-view Self-distillation
• Title（参考訳）: 汎用多段階クラスタリングに向けて:多視点自己蒸留
• Authors: Jiatai Wang, Zhiwei Xu, Xin Wang, Tao Li
• Abstract要約: 既存のマルチステージクラスタリング手法は、独立して複数のビューから健全な特徴を学習し、クラスタリングタスクを実行する。 本稿では,多視点自己蒸留(DistilMVC)を導入し,ラベル分布の暗黒知識を抽出する多段階深層MVCフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.368796552760571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing multi-stage clustering methods independently learn the salient features from multiple views and then perform the clustering task. Particularly, multi-view clustering (MVC) has attracted a lot of attention in multi-view or multi-modal scenarios. MVC aims at exploring common semantics and pseudo-labels from multiple views and clustering in a self-supervised manner. However, limited by noisy data and inadequate feature learning, such a clustering paradigm generates overconfident pseudo-labels that mis-guide the model to produce inaccurate predictions. Therefore, it is desirable to have a method that can correct this pseudo-label mistraction in multi-stage clustering to avoid the bias accumulation. To alleviate the effect of overconfident pseudo-labels and improve the generalization ability of the model, this paper proposes a novel multi-stage deep MVC framework where multi-view self-distillation (DistilMVC) is introduced to distill dark knowledge of label distribution. Specifically, in the feature subspace at different hierarchies, we explore the common semantics of multiple views through contrastive learning and obtain pseudo-labels by maximizing the mutual information between views. Additionally, a teacher network is responsible for distilling pseudo-labels into dark knowledge, supervising the student network and improving its predictive capabilities to enhance the robustness. Extensive experiments on real-world multi-view datasets show that our method has better clustering performance than state-of-the-art methods.
• Abstract（参考訳）: 既存のマルチステージクラスタリング手法は、複数のビューからサルエントな特徴を独立に学習し、クラスタリングタスクを実行する。 特に、マルチビュークラスタリング(mvc)は、マルチビューまたはマルチモーダルシナリオで多くの注目を集めています。 MVCは、複数のビューから共通のセマンティクスと擬似ラベルを自己管理的に探索することを目的としています。 しかし、ノイズの多いデータと不適切な特徴学習によって制限され、そのようなクラスタリングパラダイムは、モデルが不正確な予測を生成するために間違った導出を行う過信な擬似ラベルを生成する。 したがって,多段クラスタリングにおける擬似ラベルの誤抽出を補正し,バイアスの蓄積を回避する方法が望ましい。 自信過剰な擬似ラベルの効果を緩和し,モデルの一般化能力を向上させるため,多視点自己蒸留(distilmvc)を導入してラベル分布の暗黒知識を蒸留する,新しい多段階深層mvcフレームワークを提案する。 具体的には、異なる階層における特徴部分空間において、対比学習を通じて複数の視点の共通意味論を探索し、ビュー間の相互情報を最大化することで擬似ラベルを得る。 さらに、教師ネットワークは、疑似ラベルを暗黒の知識に蒸留し、学生ネットワークを監督し、堅牢性を高めるための予測能力を向上させる。 実世界のマルチビューデータセットに関する広範囲な実験により,本手法は最先端手法よりも優れたクラスタリング性能を示す。

関連論文リスト

• CDIMC-net: Cognitive Deep Incomplete Multi-view Clustering Network [53.72046586512026]
  我々は,認知的深層不完全多視点クラスタリングネットワーク(CDIMC-net)という,新しい不完全多視点クラスタリングネットワークを提案する。 ビュー固有のディープエンコーダとグラフ埋め込み戦略をフレームワークに組み込むことで、各ビューの高レベルな特徴とローカル構造をキャプチャする。 人間の認知、すなわち、簡単からハードに学ぶことに基づいて、モデルトレーニングのための最も自信あるサンプルを選択するための自己評価戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-28T15:45:03Z)
• Self Supervised Correlation-based Permutations for Multi-View Clustering [7.972599673048582]
  汎用データのためのエンドツーエンドのディープラーニングベースのMVCフレームワークを提案する。 我々のアプローチは、新しい置換に基づく正準相関目標を用いて有意義な融合データ表現を学習することである。 10つのMVCベンチマークデータセットを用いて、モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T08:08:30Z)
• Incomplete Contrastive Multi-View Clustering with High-Confidence Guiding [7.305817202715752]
  高信頼誘導(ICMVC)を用いた非完全コントラストマルチビュークラスタリング手法を提案する。 まず、欠落した値問題に対処するために、マルチビュー整合関係転送とグラフ畳み込みネットワークを提案する。 第2に、補完情報を活用するために、インスタンスレベルの注意融合と高信頼誘導を提案する。
  論文  参考訳（メタデータ） (2023-12-14T07:28:41Z)
• DealMVC: Dual Contrastive Calibration for Multi-view Clustering [78.54355167448614]
  マルチビュークラスタリングのための新しいデュアルコントラストキャリブレーションネットワーク(DealMVC)を提案する。 まず、グローバルなクロスビュー特徴を得るための融合機構を設計し、その上で、ビュー特徴類似性グラフと高信頼な擬ラベルグラフを整列させることにより、グローバルなコントラストキャリブレーション損失を提案する。 トレーニング手順の間、対話型クロスビュー機能は、ローカルレベルとグローバルレベルの両方で共同最適化される。
  論文  参考訳（メタデータ） (2023-08-17T14:14:28Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Reliable Representations Learning for Incomplete Multi-View Partial Multi-Label Classification [78.15629210659516]
  本稿ではRANKという不完全なマルチビュー部分的マルチラベル分類ネットワークを提案する。 既存の手法に固有のビューレベルの重みを分解し、各サンプルのビューに品質スコアを動的に割り当てる品質対応サブネットワークを提案する。 我々のモデルは、完全なマルチビューマルチラベルデータセットを処理できるだけでなく、欠落したインスタンスやラベルを持つデータセットでも機能する。
  論文  参考訳（メタデータ） (2023-03-30T03:09:25Z)
• DICNet: Deep Instance-Level Contrastive Network for Double Incomplete Multi-View Multi-Label Classification [20.892833511657166]
  実世界におけるマルチビューマルチラベルデータは、データ収集や手動アノテーションの不確実性のため、一般的に不完全である。 本稿では,DICNetという深層インスタンスレベルのコントラストネットワークを提案し,二重不完全なマルチラベル分類問題に対処する。 我々のDICNetは、マルチビュー多ラベルデータの一貫した識別的表現を捉え、欠落したビューと欠落したラベルの負の影響を避けることに長けている。
  論文  参考訳（メタデータ） (2023-03-15T04:24:01Z)
• Self-supervised Discriminative Feature Learning for Multi-view Clustering [12.725701189049403]
  マルチビュークラスタリング(SDMVC)のための自己監視型識別機能学習の提案 具体的には、各ビューの組み込み機能を独立して学習するために、ディープオートエンコーダが適用される。 さまざまなタイプのマルチビューデータセットの実験は、SDMVCが最先端のパフォーマンスを達成することを示しています。
  論文  参考訳（メタデータ） (2021-03-28T07:18:39Z)
• Unsupervised Person Re-Identification with Multi-Label Learning Guided Self-Paced Clustering [48.31017226618255]
  近年、未監修者再確認(Re-ID)が注目されています。 本論文では,教師なしのRe-IDを,MLC(Multi-label Learning Guide Self-paced Clustering)と呼ばれる概念的に斬新かつ単純なフレームワークで対処する。 MLCは主に3つの重要なモジュール(マルチスケールネットワーク、マルチラベル学習モジュール、セルフペースクラスタリングモジュール)で識別的特徴を学習する。
  論文  参考訳（メタデータ） (2021-03-08T07:30:13Z)
• Unsupervised Multi-view Clustering by Squeezing Hybrid Knowledge from Cross View and Each View [68.88732535086338]
  本稿では,適応グラフ正規化に基づくマルチビュークラスタリング手法を提案する。 5つの多視点ベンチマークの実験結果から,提案手法が他の最先端手法をクリアマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-08-23T08:25:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。