論文の概要: Separating common from salient patterns with Contrastive Representation
Learning
- arxiv url: http://arxiv.org/abs/2402.11928v1
- Date: Mon, 19 Feb 2024 08:17:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:40:16.758392
- Title: Separating common from salient patterns with Contrastive Representation
Learning
- Title(参考訳): 対照表現学習による共通パターンとサルエントパターンの分離
- Authors: Robin Louiset, Edouard Duchesnay, Antoine Grigis, Pietro Gori
- Abstract要約: コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。
変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。
コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
- 参考スコア(独自算出の注目度): 2.250968907999846
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Contrastive Analysis is a sub-field of Representation Learning that aims at
separating common factors of variation between two datasets, a background
(i.e., healthy subjects) and a target (i.e., diseased subjects), from the
salient factors of variation, only present in the target dataset. Despite their
relevance, current models based on Variational Auto-Encoders have shown poor
performance in learning semantically-expressive representations. On the other
hand, Contrastive Representation Learning has shown tremendous performance
leaps in various applications (classification, clustering, etc.). In this work,
we propose to leverage the ability of Contrastive Learning to learn
semantically expressive representations well adapted for Contrastive Analysis.
We reformulate it under the lens of the InfoMax Principle and identify two
Mutual Information terms to maximize and one to minimize. We decompose the
first two terms into an Alignment and a Uniformity term, as commonly done in
Contrastive Learning. Then, we motivate a novel Mutual Information minimization
strategy to prevent information leakage between common and salient
distributions. We validate our method, called SepCLR, on three visual datasets
and three medical datasets, specifically conceived to assess the pattern
separation capability in Contrastive Analysis. Code available at
https://github.com/neurospin-projects/2024_rlouiset_sep_clr.
- Abstract(参考訳): コントラスト分析(Contrastive Analysis)は、2つのデータセット、背景(健康な被験者)と対象(疾患のある被験者)の共通の要因を、ターゲットデータセットにのみ存在する変動の健全な要因から分離することを目的とした表現学習のサブフィールドである。
その関連性にもかかわらず、変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。
一方で、対照的な表現学習は、さまざまなアプリケーション(分類、クラスタリングなど)で大きなパフォーマンスの飛躍を示している。
本研究では,コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の能力を活用することを提案する。
我々はInfoMax Principleのレンズの下でそれを再構成し、2つの相互情報項を最大化し、1つは最小化する。
対照的な学習で一般的に行われるように、最初の2つの用語をアライメントと一様項に分解する。
次に,共通分布と有意分布との間の情報漏洩を防止するために,新たな相互情報最小化戦略を動機付ける。
sepclrと呼ばれる手法を,3つの視覚データセットと3つの医療データセット上で検証し,コントラスト解析におけるパターン分離能力を評価することを意図した。
コードはhttps://github.com/neurospin-projects/2024_rlouiset_sep_clr。
関連論文リスト
- GroupContrast: Semantic-aware Self-supervised Representation Learning for 3D Understanding [66.5538429726564]
自己教師付き3D表現学習は、大規模未ラベルの点群から効果的な表現を学習することを目的としている。
本稿では,セグメンテーションとセマンティック・アウェア・コントラッシブ・ラーニングを組み合わせた新しいアプローチであるGroupContrastを提案する。
論文 参考訳(メタデータ) (2024-03-14T17:59:59Z) - Visual Commonsense based Heterogeneous Graph Contrastive Learning [79.22206720896664]
視覚的推論タスクをより良く仕上げるための異種グラフコントラスト学習法を提案する。
本手法はプラグイン・アンド・プレイ方式として設計されており,多種多様な代表手法と迅速かつ容易に組み合わせることができる。
論文 参考訳(メタデータ) (2023-11-11T12:01:18Z) - SepVAE: a contrastive VAE to separate pathological patterns from healthy
ones [2.3008314626990964]
コントラスト分析VAE(Contrastive Analysis VAE)は、背景データセット(BG)と対象データセット(TG)の共通要因を分離することを目的とした変分自動エンコーダ(VAE)のファミリーである。
3つの医療応用と自然画像データセット(CelebA)における従来のCA-VAEs法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-07-12T14:52:21Z) - Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with
Extremely Limited Labels [20.390832929798577]
我々はMine yOur owN Anatomy(MONA)と呼ばれる新しい半監督型医用画像分割フレームワークを紹介する。
まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。
第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
論文 参考訳(メタデータ) (2022-09-27T15:50:31Z) - DUET: Cross-modal Semantic Grounding for Contrastive Zero-shot Learning [37.48292304239107]
本稿では, DUET という変換器を用いたエンドツーエンドZSL手法を提案する。
画像からセマンティック属性を分離するモデルの能力を調べるために,モーダルなセマンティックグラウンドネットワークを開発した。
DUETは、しばしば最先端のパフォーマンスを達成することができ、そのコンポーネントは有効であり、予測は解釈可能である。
論文 参考訳(メタデータ) (2022-07-04T11:12:12Z) - Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。
本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
論文 参考訳(メタデータ) (2022-05-30T17:50:59Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳(メタデータ) (2021-09-24T07:20:13Z) - From Canonical Correlation Analysis to Self-supervised Graph Neural
Networks [99.44881722969046]
本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。
古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。
提案手法は、7つの公開グラフデータセット上で競合的に動作する。
論文 参考訳(メタデータ) (2021-06-23T15:55:47Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z) - Learning to Compare Relation: Semantic Alignment for Few-Shot Learning [48.463122399494175]
本稿では,コンテンツアライメントに頑健な関係を比較するための新しいセマンティックアライメントモデルを提案する。
数ショットの学習データセットについて広範な実験を行う。
論文 参考訳(メタデータ) (2020-02-29T08:37:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。