Fugu-MT 論文翻訳(概要): Overcoming Dimensional Collapse in Self-supervised Contrastive Learning for Medical Image Segmentation

論文の概要: Overcoming Dimensional Collapse in Self-supervised Contrastive Learning for Medical Image Segmentation

arxiv url: http://arxiv.org/abs/2402.14611v2
Date: Tue, 27 Feb 2024 16:39:35 GMT
ステータス: 処理完了
システム内更新日: 2024-02-28 20:38:04.000987
Title: Overcoming Dimensional Collapse in Self-supervised Contrastive Learning for Medical Image Segmentation
Title（参考訳）: 医用画像セグメンテーションのための自己教師型コントラスト学習における次元崩壊の克服
Authors: Jamshid Hassanpour, Vinkle Srivastav, Didier Mutter, Nicolas Padoy
Abstract要約: 医用画像解析分野へのコントラスト学習の適用について検討する。以上の結果から,最先端のコントラスト学習手法であるMoCo v2は,医用画像に適用すると次元的崩壊に遭遇することが明らかとなった。これを解決するために,局所的な特徴学習と特徴デコレーションという2つの重要な貢献を提案する。
参考スコア（独自算出の注目度）: 2.6764957223405657
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Self-supervised learning (SSL) approaches have achieved great success when the amount of labeled data is limited. Within SSL, models learn robust feature representations by solving pretext tasks. One such pretext task is contrastive learning, which involves forming pairs of similar and dissimilar input samples, guiding the model to distinguish between them. In this work, we investigate the application of contrastive learning to the domain of medical image analysis. Our findings reveal that MoCo v2, a state-of-the-art contrastive learning method, encounters dimensional collapse when applied to medical images. This is attributed to the high degree of inter-image similarity shared between the medical images. To address this, we propose two key contributions: local feature learning and feature decorrelation. Local feature learning improves the ability of the model to focus on the local regions of the image, while feature decorrelation removes the linear dependence among the features. Our experimental findings demonstrate that our contributions significantly enhance the model's performance in the downstream task of medical segmentation, both in the linear evaluation and full fine-tuning settings. This work illustrates the importance of effectively adapting SSL techniques to the characteristics of medical imaging tasks. The source code will be made publicly available at: https://github.com/CAMMA-public/med-moco
Abstract（参考訳）: ラベル付きデータの量を制限する自己教師付き学習(SSL)アプローチは大きな成功を収めた。 SSL内では、プレテキストタスクを解決して堅牢な特徴表現を学ぶ。そのような前提的タスクの1つは、対照的な学習であり、類似した異なる入力サンプルのペアを形成し、モデルの区別を誘導する。本研究では,医療画像解析の領域におけるコントラスト学習の応用について検討する。この結果から,最先端のコントラスト学習手法であるMoCo v2は,医用画像に適用すると次元的崩壊に遭遇することがわかった。これは、医療画像間で共有される画像間の類似度が高いためである。そこで我々は,局所的な特徴学習と特徴デコレーションという2つの重要な貢献を提案する。局所的な特徴学習は、モデルのイメージの局所的な領域にフォーカスする能力を向上させ、特徴の分離は、特徴間の線形依存を取り除く。実験の結果,リニア評価と完全微調整設定の両方において,医療セグメンテーションの下流課題におけるモデルの性能が有意に向上した。本研究は,医療画像タスクの特徴にSSL技術を効果的に適応させることの重要性を示す。ソースコードは、https://github.com/CAMMA-public/med-mocoで公開されます。

関連論文リスト

LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。 LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
論文参考訳（メタデータ） (2024-10-03T15:52:03Z)
Dual-scale Enhanced and Cross-generative Consistency Learning for Semi-supervised Medical Image Segmentation [49.57907601086494]
医用画像のセグメンテーションはコンピュータ支援診断において重要な役割を担っている。半教師型医用画像(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learning frameworkを提案する。
論文参考訳（メタデータ） (2023-12-26T12:56:31Z)
Causality-Driven One-Shot Learning for Prostate Cancer Grading from MRI [1.049712834719005]
本稿では,画像中の弱い因果信号を学習し,活用する医用画像の自動分類手法を提案する。我々のフレームワークは畳み込みニューラルネットワークのバックボーンと因果抽出モジュールで構成されている。本研究は,特徴間の因果関係が,関連情報を識別するモデルの能力を高める上で重要な役割を担っていることを示す。
論文参考訳（メタデータ） (2023-09-19T16:08:33Z)
LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文参考訳（メタデータ） (2023-06-20T22:21:34Z)
Graph Self-Supervised Learning for Endoscopic Image Matching [1.8275108630751844]
鍵点間の空間関係をモデル化するために,局所的な視覚的外観を捉える畳み込みニューラルネットワークと注目に基づくグラフニューラルネットワークを組み合わせた,新たな自己教師型アプローチを提案する。我々のアプローチはラベル付きデータを必要とせず、完全に自己管理されたスキームで訓練されている。提案手法は,最先端の手工法と深層学習法より優れ,精度(1)とマッチングスコア(99.3%)で優れた性能を示す。
論文参考訳（メタデータ） (2023-06-19T19:53:41Z)
Anatomical Invariance Modeling and Semantic Alignment for Self-supervised Learning in 3D Medical Image Analysis [6.87667643104543]
自己教師付き学習(SSL)は、最近、3D医療画像解析タスクで有望なパフォーマンスを達成した。現在のほとんどの手法は、元々写真や自然画像用に設計された既存のSSLパラダイムに従っている。我々は,解剖的不変性モデリングと意味的アライメントを明確に満たす,自己教師付き学習フレームワークAliceを提案する。
論文参考訳（メタデータ） (2023-02-11T06:36:20Z)
Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文参考訳（メタデータ） (2023-01-11T16:35:33Z)
Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
論文参考訳（メタデータ） (2022-09-27T15:50:31Z)
Positional Contrastive Learning for Volumetric Medical Image Segmentation [13.086140606803408]
コントラストデータペアを生成するための新しい位置コントラスト学習フレームワークを提案する。提案手法は,半教師付き設定と移動学習の両方において既存の手法と比較して,セグメンテーション性能を大幅に向上させることができる。
論文参考訳（メタデータ） (2021-06-16T22:15:28Z)
Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文参考訳（メタデータ） (2020-12-10T04:01:07Z)
Improving Calibration and Out-of-Distribution Detection in Medical Image Segmentation with Convolutional Neural Networks [8.219843232619551]
畳み込みニューラルネットワーク(CNN)は強力な医用画像分割モデルであることが示されている。マルチタスク学習、すなわち、複数の異なるデータセット上で単一のモデルをトレーニングすることを提唱する。一つのCNNが、文脈を自動的に認識し、各文脈における関心の組織を正確に区分することを学ぶだけでなく、そのようなジョイントモデルの方が、より正確でより良い校正された予測を持つことも示している。
論文参考訳（メタデータ） (2020-04-12T23:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。