論文の概要: Separating common from salient patterns with Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2402.11928v1
• Date: Mon, 19 Feb 2024 08:17:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 17:40:16.758392
• Title: Separating common from salient patterns with Contrastive Representation Learning
• Title（参考訳）: 対照表現学習による共通パターンとサルエントパターンの分離
• Authors: Robin Louiset, Edouard Duchesnay, Antoine Grigis, Pietro Gori
• Abstract要約: コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。 変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。 コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
• 参考スコア（独自算出の注目度）: 2.250968907999846
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contrastive Analysis is a sub-field of Representation Learning that aims at separating common factors of variation between two datasets, a background (i.e., healthy subjects) and a target (i.e., diseased subjects), from the salient factors of variation, only present in the target dataset. Despite their relevance, current models based on Variational Auto-Encoders have shown poor performance in learning semantically-expressive representations. On the other hand, Contrastive Representation Learning has shown tremendous performance leaps in various applications (classification, clustering, etc.). In this work, we propose to leverage the ability of Contrastive Learning to learn semantically expressive representations well adapted for Contrastive Analysis. We reformulate it under the lens of the InfoMax Principle and identify two Mutual Information terms to maximize and one to minimize. We decompose the first two terms into an Alignment and a Uniformity term, as commonly done in Contrastive Learning. Then, we motivate a novel Mutual Information minimization strategy to prevent information leakage between common and salient distributions. We validate our method, called SepCLR, on three visual datasets and three medical datasets, specifically conceived to assess the pattern separation capability in Contrastive Analysis. Code available at https://github.com/neurospin-projects/2024_rlouiset_sep_clr.
• Abstract（参考訳）: コントラスト分析(Contrastive Analysis)は、2つのデータセット、背景(健康な被験者)と対象(疾患のある被験者)の共通の要因を、ターゲットデータセットにのみ存在する変動の健全な要因から分離することを目的とした表現学習のサブフィールドである。 その関連性にもかかわらず、変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。 一方で、対照的な表現学習は、さまざまなアプリケーション(分類、クラスタリングなど)で大きなパフォーマンスの飛躍を示している。 本研究では,コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の能力を活用することを提案する。 我々はInfoMax Principleのレンズの下でそれを再構成し、2つの相互情報項を最大化し、1つは最小化する。 対照的な学習で一般的に行われるように、最初の2つの用語をアライメントと一様項に分解する。 次に,共通分布と有意分布との間の情報漏洩を防止するために,新たな相互情報最小化戦略を動機付ける。 sepclrと呼ばれる手法を,3つの視覚データセットと3つの医療データセット上で検証し,コントラスト解析におけるパターン分離能力を評価することを意図した。 コードはhttps://github.com/neurospin-projects/2024_rlouiset_sep_clr。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Visual Commonsense based Heterogeneous Graph Contrastive Learning [79.22206720896664]
  視覚的推論タスクをより良く仕上げるための異種グラフコントラスト学習法を提案する。 本手法はプラグイン・アンド・プレイ方式として設計されており,多種多様な代表手法と迅速かつ容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-11-11T12:01:18Z)
• SepVAE: a contrastive VAE to separate pathological patterns from healthy ones [2.619659560375341]
  コントラスト分析VAE(Contrastive Analysis VAE)は、背景データセット(BG)と対象データセット(TG)の共通要因を分離することを目的とした変分自動エンコーダ(VAE)のファミリーである。 3つの医療応用と自然画像データセット(CelebA)における従来のCA-VAEs法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-07-12T14:52:21Z)
• Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
  我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。 まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。 第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
  論文  参考訳（メタデータ） (2022-09-27T15:50:31Z)
• DUET: Cross-modal Semantic Grounding for Contrastive Zero-shot Learning [37.48292304239107]
  本稿では, DUET という変換器を用いたエンドツーエンドZSL手法を提案する。 画像からセマンティック属性を分離するモデルの能力を調べるために,モーダルなセマンティックグラウンドネットワークを開発した。 DUETは、しばしば最先端のパフォーマンスを達成することができ、そのコンポーネントは有効であり、予測は解釈可能である。
  論文  参考訳（メタデータ） (2022-07-04T11:12:12Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Lookahead Adversarial Learning for Near Real-Time Semantic Segmentation [2.538209532048867]
  我々は,最先端セグメンテーションモデル(DeepLabv3+)をコアとした条件付き対向ネットワークを構築した。 我々は、ほぼリアルタイムなフィールドアプリケーションのための推論で高速に実行されるセグメンテーションモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2020-06-19T17:04:38Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Learning to Compare Relation: Semantic Alignment for Few-Shot Learning [48.463122399494175]
  本稿では,コンテンツアライメントに頑健な関係を比較するための新しいセマンティックアライメントモデルを提案する。 数ショットの学習データセットについて広範な実験を行う。
  論文  参考訳（メタデータ） (2020-02-29T08:37:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。