論文の概要: Robust image representations with counterfactual contrastive learning

• arxiv url: http://arxiv.org/abs/2409.10365v1
• Date: Mon, 16 Sep 2024 15:11:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 15:00:57.301601
• Title: Robust image representations with counterfactual contrastive learning
• Title（参考訳）: 対実的コントラスト学習を用いたロバスト画像表現
• Authors: Mélanie Roschewitz, Fabio De Sousa Ribeiro, Tian Xia, Galvin Khara, Ben Glocker,
• Abstract要約: 因果画像合成の最近の進歩を生かした新しいフレームワークである反ファクト・コントラスト学習を導入する。 提案手法は,5つのデータセットで評価され,獲得シフトに対するロバスト性の観点から,標準的なコントラスト学習よりも優れていた。 さらなる実験により、提案フレームワークは買収シフトを超えて拡張され、反実的コントラスト学習で訓練されたモデルは、生物学的セックスにおけるサブグループパフォーマンスを大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 17.273155534515393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive pretraining can substantially increase model generalisation and downstream performance. However, the quality of the learned representations is highly dependent on the data augmentation strategy applied to generate positive pairs. Positive contrastive pairs should preserve semantic meaning while discarding unwanted variations related to the data acquisition domain. Traditional contrastive pipelines attempt to simulate domain shifts through pre-defined generic image transformations. However, these do not always mimic realistic and relevant domain variations for medical imaging such as scanner differences. To tackle this issue, we herein introduce counterfactual contrastive learning, a novel framework leveraging recent advances in causal image synthesis to create contrastive positive pairs that faithfully capture relevant domain variations. Our method, evaluated across five datasets encompassing both chest radiography and mammography data, for two established contrastive objectives (SimCLR and DINO-v2), outperforms standard contrastive learning in terms of robustness to acquisition shift. Notably, counterfactual contrastive learning achieves superior downstream performance on both in-distribution and on external datasets, especially for images acquired with scanners under-represented in the training set. Further experiments show that the proposed framework extends beyond acquisition shifts, with models trained with counterfactual contrastive learning substantially improving subgroup performance across biological sex.
• Abstract（参考訳）: 対照的な事前訓練は、モデル一般化と下流のパフォーマンスを大幅に向上させる。 しかし、学習した表現の質は、正のペアを生成するために適用されるデータ拡張戦略に大きく依存している。 正の対照的なペアは、データ取得ドメインに関連する望ましくないバリエーションを捨てながら意味を保たなければならない。 従来の対照的なパイプラインは、定義済みの一般的なイメージ変換を通じてドメインシフトをシミュレートしようとする。 しかし、これらはスキャナの違いなど、医用画像の現実的かつ関連する領域のバリエーションを常に模倣するわけではない。 本稿では、因果画像合成の最近の進歩を活用して、関連領域の変動を忠実に捉えた対照的な正の対を生成する新しいフレームワークである反ファクト・コントラスト学習を導入する。 胸部X線写真とマンモグラフィーデータの両方を含む5つのデータセットを用いて評価し,SimCLR と DINO-v2 の2つのコントラスト目標について検討した。 特に、非現実的コントラスト学習は、特にトレーニングセットで表現されていないスキャナーで取得した画像に対して、配信内および外部データセットの両方において、より優れたダウンストリーム性能を達成する。 さらなる実験により、提案フレームワークは買収シフトを超えて拡張され、反実的コントラスト学習で訓練されたモデルは、生物学的セックスにおけるサブグループパフォーマンスを大幅に改善することが示された。

関連論文リスト

• Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization [62.157627519792946]
  ブリッジドトランスファー(ブリッジドトランスファー)と呼ばれる新しいフレームワークを導入する。このフレームワークは、当初、トレーニング済みモデルの微調整に合成画像を使用し、転送性を向上させる。 合成画像と実画像のスタイルアライメントを改善するために,データセットスタイルの逆変換方式を提案する。 提案手法は10の異なるデータセットと5つの異なるモデルで評価され、一貫した改善が示されている。
  論文  参考訳（メタデータ） (2024-03-28T22:25:05Z)
• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• Counterfactual contrastive learning: robust representations via causal image synthesis [17.273155534515393]
  CF-SimCLRは、正のペア生成に近似した反現実的推論を利用する対実的コントラスト学習手法である。 CF-SimCLRは, 配当データと配当データの両方において, 下流性能を向上し, 買収シフトを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2024-03-14T17:47:01Z)
• Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval [15.982022297570108]
  教師なし画像検索は、与えられたクエリ画像の類似画像を取得するために、任意のレベルなしに重要な視覚的特徴を学習することを目的としている。 本稿では,パッチベースの処理により局所的なコンテキストを持つTransformerを用いて,画像のグローバルコンテキストを符号化するTransClippedCLRモデルを提案する。 提案したクリップ付きコントラスト学習の結果は、バニラコントラスト学習と同一のバックボーンネットワークと比較して、すべてのデータセットで大幅に改善されている。
  論文  参考訳（メタデータ） (2024-01-27T09:39:11Z)
• OT-Attack: Enhancing Adversarial Transferability of Vision-Language Models via Optimal Transport Optimization [65.57380193070574]
  視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。 近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。 本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
  論文  参考訳（メタデータ） (2023-12-07T16:16:50Z)
• Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
  条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。 提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。 提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
  論文  参考訳（メタデータ） (2023-03-17T18:00:27Z)
• Bridging Synthetic and Real Images: a Transferable and Multiple Consistency aided Fundus Image Enhancement Framework [61.74188977009786]
  画像強調とドメイン適応を同時に行うために,エンドツーエンドの教師支援フレームワークを提案する。 また,教師ネットワークと学生ネットワークのバックボーンとして,マルチステージ型マルチアテンション・ガイド・エンハンスメント・ネットワーク(MAGE-Net)を提案する。
  論文  参考訳（メタデータ） (2023-02-23T06:16:15Z)
• Metadata-enhanced contrastive learning from retinal optical coherence tomography images [7.932410831191909]
  従来のコントラストフレームワークを新しいメタデータ強化戦略で拡張する。 本手法では,画像間のコントラスト関係の真のセットを近似するために,患者メタデータを広く活用する。 提案手法は、6つの画像レベル下流タスクのうち5つにおいて、標準コントラスト法と網膜画像基盤モデルの両方に優れる。
  論文  参考訳（メタデータ） (2022-08-04T08:53:15Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Contrast Adaptive Tissue Classification by Alternating Segmentation and Synthesis [0.21111026813272174]
  本稿では,訓練データのコントラスト特性を入力画像に適応する交互セグメンテーションと合成ステップを用いたアプローチについて述べる。 このアプローチの顕著な利点は、そのコントラスト特性に適応するために取得プロトコルの1つの例だけが必要であることである。
  論文  参考訳（メタデータ） (2021-03-04T00:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。