論文の概要: Rethinking Multi-view Representation Learning via Distilled Disentangling

• arxiv url: http://arxiv.org/abs/2403.10897v2
• Date: Fri, 29 Mar 2024 14:49:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 17:53:05.084733
• Title: Rethinking Multi-view Representation Learning via Distilled Disentangling
• Title（参考訳）: 蒸留ディスタングルによる多視点表現学習の再考
• Authors: Guanzhou Ke, Bo Wang, Xiaoli Wang, Shengfeng He,
• Abstract要約: マルチビュー表現学習は、多様なデータソースからビュー一貫性とビュー固有性の両方を持つ堅牢な表現を導出することを目的としている。 本稿では、この領域における既存のアプローチの詳細な分析を行い、ビュー一貫性とビュー固有表現の冗長性を強調した。 我々は,多視点表現学習のための革新的枠組みを提案し,これを「蒸留解離」と呼ぶ手法を取り入れた。
• 参考スコア（独自算出の注目度）: 34.14711778177439
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-view representation learning aims to derive robust representations that are both view-consistent and view-specific from diverse data sources. This paper presents an in-depth analysis of existing approaches in this domain, highlighting a commonly overlooked aspect: the redundancy between view-consistent and view-specific representations. To this end, we propose an innovative framework for multi-view representation learning, which incorporates a technique we term 'distilled disentangling'. Our method introduces the concept of masked cross-view prediction, enabling the extraction of compact, high-quality view-consistent representations from various sources without incurring extra computational overhead. Additionally, we develop a distilled disentangling module that efficiently filters out consistency-related information from multi-view representations, resulting in purer view-specific representations. This approach significantly reduces redundancy between view-consistent and view-specific representations, enhancing the overall efficiency of the learning process. Our empirical evaluations reveal that higher mask ratios substantially improve the quality of view-consistent representations. Moreover, we find that reducing the dimensionality of view-consistent representations relative to that of view-specific representations further refines the quality of the combined representations. Our code is accessible at: https://github.com/Guanzhou-Ke/MRDD.
• Abstract（参考訳）: マルチビュー表現学習は、多様なデータソースから、ビュー一貫性とビュー固有性の両方を持つ堅牢な表現を導出することを目的としている。 本稿では、この領域における既存のアプローチを詳細に分析し、一般的に見落とされがちな側面であるビュー一貫性とビュー固有表現の冗長性を明らかにする。 そこで本稿では,多視点表現学習のための革新的なフレームワークを提案する。 提案手法では,様々なソースからコンパクトで高品質なビュー一貫性表現を抽出し,余分な計算オーバーヘッドを発生させることなく,マスク付きクロスビュー予測の概念を導入している。 さらに,多視点表現から一貫性関連情報を効率よくフィルタし,より純粋なビュー固有表現を実現する蒸留脱タングルモジュールを開発した。 このアプローチは、ビュー一貫性とビュー固有表現の冗長性を著しく低減し、学習プロセス全体の効率を高める。 我々の経験的評価から,高いマスク比がビュー一貫性表現の質を著しく向上させることが明らかとなった。 さらに、ビュー固有表現と比較して、ビュー一貫性表現の次元性を減少させることにより、複合表現の質をさらに向上させることが判明した。 私たちのコードは、https://github.com/Guanzhou-Ke/MRDDでアクセスできます。

関連論文リスト

• Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
  Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。 既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。 これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。 一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2024-04-11T03:00:00Z)
• MVEB: Self-Supervised Learning with Multi-View Entropy Bottleneck [53.44358636312935]
  自己監督的アプローチは、画像の2つのビューを入力と自己監督的信号の両方とみなす。 近年の研究では、ビュー間で共有されていない過剰な情報を捨てることにより、一般化が促進されることが示されている。 目的とする多視点エントロピー・ボトルネック(MVEB)を提案し,最小限の表現を効果的に学習する。
  論文  参考訳（メタデータ） (2024-03-28T00:50:02Z)
• Neural Clustering based Visual Representation Learning [61.72646814537163]
  クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。 本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
  論文  参考訳（メタデータ） (2024-03-26T06:04:50Z)
• Constrained Multiview Representation for Self-supervised Contrastive Learning [4.817827522417457]
  本稿では、異なる視点の重要度を測定するために、表現距離に基づく相互情報(MI)に基づく新しいアプローチを提案する。 周波数領域から抽出した多視点表現を利用して、相互情報に基づいてそれらの意義を再評価する。
  論文  参考訳（メタデータ） (2024-02-05T19:09:33Z)
• Disentangling Multi-view Representations Beyond Inductive Bias [32.15900989696017]
  本稿では,表現の解釈可能性と一般化性を両立させる新しい多視点表現分離手法を提案する。 提案手法は,クラスタリングと分類性能において,12種類の比較手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-03T09:09:28Z)
• A Clustering-guided Contrastive Fusion for Multi-view Representation Learning [7.630965478083513]
  本稿では、ビュー固有表現をビュー共通表現に融合する深層融合ネットワークを提案する。 また、ビュー共通表現とビュー固有表現を一致させる非対称なコントラスト戦略を設計する。 不完全な視点では,提案手法は競合相手よりもノイズ干渉に抵抗する。
  論文  参考訳（メタデータ） (2022-12-28T07:21:05Z)
• Cross-view Graph Contrastive Representation Learning on Partially Aligned Multi-view Data [52.491074276133325]
  マルチビュー表現学習は、過去数十年間で急速に発展し、多くの分野に応用されてきた。 本稿では,多視点情報を統合してデータアライメントを行い,潜在表現を学習する,新しいクロスビューグラフコントラスト学習フレームワークを提案する。 複数の実データを用いて実験を行い,クラスタリングおよび分類作業における提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2022-11-08T09:19:32Z)
• MORI-RAN: Multi-view Robust Representation Learning via Hybrid Contrastive Fusion [4.36488705757229]
  多視点表現学習は、クラスタリングや分類といった多くの多視点タスクに不可欠である。 ラベルのないデータから堅牢なビュー-共通表現を抽出するハイブリッドコントラスト融合アルゴリズムを提案する。 実験の結果,提案手法は実世界の4つのデータセットにおいて,12の競合的マルチビュー手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-08-26T09:58:37Z)
• Deep Partial Multi-View Learning [94.39367390062831]
  クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。 我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。 そして、理論的に学習された潜在表現の多元性を証明する。
  論文  参考訳（メタデータ） (2020-11-12T02:29:29Z)
• Generative Partial Multi-View Clustering [133.36721417531734]
  本稿では,不完全なマルチビュー問題に対処するため,GP-MVCと呼ばれる生成的部分的マルチビュークラスタリングモデルを提案する。 まず、マルチビューエンコーダネットワークをトレーニングして、一般的な低次元表現を学習し、次にクラスタリング層を使用して複数のビューをまたいだ一貫したクラスタ構造をキャプチャする。 第2に、他のビューが与える共有表現に基づいて、1つのビュー条件の欠落データを生成するために、ビュー固有の生成敵ネットワークを開発する。
  論文  参考訳（メタデータ） (2020-03-29T17:48:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。