論文の概要: Exploring Transfer Learning in Medical Image Segmentation using
Vision-Language Models
- arxiv url: http://arxiv.org/abs/2308.07706v1
- Date: Tue, 15 Aug 2023 11:28:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 13:10:37.934056
- Title: Exploring Transfer Learning in Medical Image Segmentation using
Vision-Language Models
- Title(参考訳): 視覚言語モデルを用いた医用画像分割における転送学習の検討
- Authors: Kanchan Poudel, Manish Dhakal, Prasiddha Bhandari, Rabin Adhikari,
Safal Thapaliya, Bishesh Khanal
- Abstract要約: テキストガイダンスを利用した既存のセグメンテーションモデルは、主にオープンドメイン画像に基づいて訓練されている。
画像記述や画像から意味情報をキャプチャするためのマルチモーダル視覚言語モデルを提案する。
本研究では,複数のデータセットにまたがる既存の視覚言語モデルを評価し,オープンドメインから医療分野への移動可能性を評価する。
- 参考スコア(独自算出の注目度): 0.9324036842528547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical Image Segmentation is crucial in various clinical applications within
the medical domain. While state-of-the-art segmentation models have proven
effective, integrating textual guidance to enhance visual features for this
task remains an area with limited progress. Existing segmentation models that
utilize textual guidance are primarily trained on open-domain images, raising
concerns about their direct applicability in the medical domain without manual
intervention or fine-tuning.
To address these challenges, we propose using multimodal vision-language
models for capturing semantic information from image descriptions and images,
enabling the segmentation of diverse medical images. This study comprehensively
evaluates existing vision language models across multiple datasets to assess
their transferability from the open domain to the medical field. Furthermore,
we introduce variations of image descriptions for previously unseen images in
the dataset, revealing notable variations in model performance based on the
generated prompts.
Our findings highlight the distribution shift between the open-domain images
and the medical domain and show that the segmentation models trained on
open-domain images are not directly transferrable to the medical field. But
their performance can be increased by finetuning them in the medical datasets.
We report the zero-shot and finetuned segmentation performance of 4 Vision
Language Models (VLMs) on 11 medical datasets using 9 types of prompts derived
from 14 attributes.
- Abstract(参考訳): 医用画像セグメンテーションは、医療領域内の様々な臨床応用において重要である。
最先端セグメンテーションモデルは有効であることが証明されているが、このタスクの視覚的特徴を高めるためにテキストガイダンスを統合することは、まだ進歩の少ない領域である。
テキストガイダンスを利用する既存のセグメンテーションモデルは、主にオープンドメインイメージに基づいてトレーニングされ、手作業による介入や微調整なしに医療領域で直接適用できるという懸念が高まる。
これらの課題に対処するために,画像記述と画像から意味情報を取り出すマルチモーダル視覚言語モデルを提案し,多様な医用画像のセグメンテーションを可能にした。
本研究では,複数のデータセットにまたがる既存の視覚言語モデルを包括的に評価し,オープンドメインから医療分野への移動性を評価する。
さらに,データセット内の未認識画像に対する画像記述のバリエーションについて紹介し,生成されたプロンプトに基づくモデル性能の顕著な変化を明らかにする。
本研究は,オープンドメイン画像と医療領域の分布変化に着目し,オープンドメイン画像で訓練されたセグメンテーションモデルが医療分野に直接移行できないことを示す。
しかし、それらのパフォーマンスは医療データセットで微調整することで向上することができる。
14の属性から抽出した9種類のプロンプトを用いて,11の医療データセット上での視覚言語モデル(VLM)のゼロショットおよび微調整セグメンテーション性能について報告する。
関連論文リスト
- LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:02:36Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳(メタデータ) (2023-01-11T16:35:33Z) - Positional Contrastive Learning for Volumetric Medical Image
Segmentation [13.086140606803408]
コントラストデータペアを生成するための新しい位置コントラスト学習フレームワークを提案する。
提案手法は,半教師付き設定と移動学習の両方において既存の手法と比較して,セグメンテーション性能を大幅に向上させることができる。
論文 参考訳(メタデータ) (2021-06-16T22:15:28Z) - Self-Attentive Spatial Adaptive Normalization for Cross-Modality Domain
Adaptation [9.659642285903418]
放射線科医の費用負担を軽減するための医用画像のクロスモダリティ合成
本稿では,教師なしまたは教師なし(非ペア画像データ)の設定が可能な医用画像における画像から画像への変換手法を提案する。
論文 参考訳(メタデータ) (2021-03-05T16:22:31Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳(メタデータ) (2020-12-10T04:01:07Z) - Interpretable and synergistic deep learning for visual explanation and
statistical estimations of segmentation of disease features from medical
images [0.0]
医学画像からの病因分類やセグメンテーションのための深層学習(DL)モデルは、無関係な自然界画像からの伝達学習(TL)を用いて、ますます訓練されている。
TL後バイナリセグメンテーションに広く用いられているDLアーキテクチャの比較,厳密な統計的解析,および比較について報告する。
TIIおよびLMIモデル、コード、10,000以上の医療画像の無料GitHubリポジトリと、この研究からのGrad-CAM出力は、高度な計算医学の出発点として利用できる。
論文 参考訳(メタデータ) (2020-11-11T14:08:17Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z) - Medical Image Harmonization Using Deep Learning Based Canonical Mapping:
Toward Robust and Generalizable Learning in Imaging [4.396671464565882]
多様な取得条件のデータを共通参照領域に"調和"する新しいパラダイムを提案する。
我々は,MRIによる脳年齢予測と統合失調症の分類という,2つの問題に対して本手法を検証した。
論文 参考訳(メタデータ) (2020-10-11T22:01:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。