論文の概要: Constrained Multiview Representation for Self-supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2402.03456v1
• Date: Mon, 5 Feb 2024 19:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 18:10:48.261220
• Title: Constrained Multiview Representation for Self-supervised Contrastive Learning
• Title（参考訳）: 自己教師型コントラスト学習のための制約付きマルチビュー表現
• Authors: Siyuan Dai, Kai Ye, Kun Zhao, Ge Cui, Haoteng Tang, Liang Zhan
• Abstract要約: 本稿では、異なる視点の重要度を測定するために、表現距離に基づく相互情報(MI)に基づく新しいアプローチを提案する。 周波数領域から抽出した多視点表現を利用して、相互情報に基づいてそれらの意義を再評価する。
• 参考スコア（独自算出の注目度）: 4.817827522417457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning constitutes a pivotal cornerstone in contemporary deep learning paradigms, offering a conduit to elucidate distinctive features within the latent space and interpret the deep models. Nevertheless, the inherent complexity of anatomical patterns and the random nature of lesion distribution in medical image segmentation pose significant challenges to the disentanglement of representations and the understanding of salient features. Methods guided by the maximization of mutual information, particularly within the framework of contrastive learning, have demonstrated remarkable success and superiority in decoupling densely intertwined representations. However, the effectiveness of contrastive learning highly depends on the quality of the positive and negative sample pairs, i.e. the unselected average mutual information among multi-views would obstruct the learning strategy so the selection of the views is vital. In this work, we introduce a novel approach predicated on representation distance-based mutual information (MI) maximization for measuring the significance of different views, aiming at conducting more efficient contrastive learning and representation disentanglement. Additionally, we introduce an MI re-ranking strategy for representation selection, benefiting both the continuous MI estimating and representation significance distance measuring. Specifically, we harness multi-view representations extracted from the frequency domain, re-evaluating their significance based on mutual information across varying frequencies, thereby facilitating a multifaceted contrastive learning approach to bolster semantic comprehension. The statistical results under the five metrics demonstrate that our proposed framework proficiently constrains the MI maximization-driven representation selection and steers the multi-view contrastive learning process.
• Abstract（参考訳）: 表現学習(representation learning)は、現代ディープラーニングのパラダイムにおける重要な基礎であり、潜在空間内の特徴を解明し、深層モデルを解釈するための導管を提供する。 それにもかかわらず、解剖学的パターンの固有の複雑さと、医用画像分割における病変分布のランダムな性質は、表現の不連続と突出した特徴の理解に重大な課題をもたらす。 相互情報の最大化、特にコントラスト学習の枠組みによって導かれる手法は、密接に絡み合った表現の分離において顕著な成功と優越性を示している。 しかし, 比較学習の有効性は, 正と負のサンプルペアの品質に大きく依存する。つまり, 多視点間の非選択平均的相互情報が学習戦略を阻害し, 視点の選択が不可欠となる。 本研究では,表現距離に基づく相互情報(mi)の最大化を前提とした新しい手法を提案する。 さらに、表現選択のためのMI再分類戦略を導入し、連続MI推定と表現重要度距離測定の両立を図った。 具体的には、周波数領域から抽出した多視点表現を活用し、各周波数間の相互情報に基づいてその意義を再評価し、意味理解を促進するための多面的コントラスト学習アプローチの促進を図る。 5つの指標に基づく統計的結果から,提案手法はMIの最大化による表現選択を十分に制約し,マルチビューのコントラッシブ学習プロセスを導出することを示す。

関連論文リスト

• Independence Constrained Disentangled Representation Learning from Epistemological Perspective [13.51102815877287]
  Disentangled Representation Learningは、データ生成プロセスにおいて意味論的に意味のある潜伏変数を識別するデータエンコーダをトレーニングすることで、ディープラーニングメソッドの説明可能性を向上させることを目的としている。 不整合表現学習の目的については合意が得られない。 本稿では,相互情報制約と独立性制約を統合した非絡み合い表現学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-04T13:00:59Z)
• Multi-Grained Contrast for Data-Efficient Unsupervised Representation Learning [10.630297877530614]
  教師なし表現学習のための新しいマルチグラインドコントラスト法(MGC)を提案する。 具体的には、ポジティブビュー間の微妙な多重粒度対応を構築し、その上で、対応によって多粒度コントラストを行い、より一般的な教師なし表現を学習する。 提案手法は,オブジェクト検出,インスタンスセグメンテーション,シーン解析,セマンティックセグメンテーション,キーポイント検出など,広範囲なダウンストリームタスクにおいて,既存の最先端手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-07-02T07:35:21Z)
• Rethinking Multi-view Representation Learning via Distilled Disentangling [34.14711778177439]
  マルチビュー表現学習は、多様なデータソースからビュー一貫性とビュー固有性の両方を持つ堅牢な表現を導出することを目的としている。 本稿では、この領域における既存のアプローチの詳細な分析を行い、ビュー一貫性とビュー固有表現の冗長性を強調した。 我々は,多視点表現学習のための革新的枠組みを提案し,これを「蒸留解離」と呼ぶ手法を取り入れた。
  論文  参考訳（メタデータ） (2024-03-16T11:21:24Z)
• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• Disentangling Multi-view Representations Beyond Inductive Bias [32.15900989696017]
  本稿では,表現の解釈可能性と一般化性を両立させる新しい多視点表現分離手法を提案する。 提案手法は,クラスタリングと分類性能において,12種類の比較手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-03T09:09:28Z)
• Improving the Modality Representation with Multi-View Contrastive Learning for Multimodal Sentiment Analysis [15.623293264871181]
  コントラスト学習によるモダリティ表現の改良手法について検討した。 我々は,多視点コントラスト学習を用いた3段階のフレームワークを考案し,特定の目的の表現を洗練させる。 3つのオープンデータセットで実験を行い、その結果、我々のモデルの進歩を示す。
  論文  参考訳（メタデータ） (2022-10-28T01:25:16Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• A Variational Information Bottleneck Approach to Multi-Omics Data Integration [98.6475134630792]
  本稿では,不完全な多視点観測のための深い変動情報ボトルネック (IB) 手法を提案する。 本手法は,対象物に関連のある視点内および視点間相互作用に焦点をあてるために,観測された視点の辺縁および結合表現にISBフレームワークを適用した。 実世界のデータセットの実験から、我々の手法はデータ統合から常に利益を得て、最先端のベンチマークより優れています。
  論文  参考訳（メタデータ） (2021-02-05T06:05:39Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• Deep Partial Multi-View Learning [94.39367390062831]
  クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。 我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。 そして、理論的に学習された潜在表現の多元性を証明する。
  論文  参考訳（メタデータ） (2020-11-12T02:29:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。