論文の概要: Exploring Transfer Learning in Medical Image Segmentation using Vision-Language Models

• arxiv url: http://arxiv.org/abs/2308.07706v1
• Date: Tue, 15 Aug 2023 11:28:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 13:10:37.934056
• Title: Exploring Transfer Learning in Medical Image Segmentation using Vision-Language Models
• Title（参考訳）: 視覚言語モデルを用いた医用画像分割における転送学習の検討
• Authors: Kanchan Poudel, Manish Dhakal, Prasiddha Bhandari, Rabin Adhikari, Safal Thapaliya, Bishesh Khanal
• Abstract要約: テキストガイダンスを利用した既存のセグメンテーションモデルは、主にオープンドメイン画像に基づいて訓練されている。 画像記述や画像から意味情報をキャプチャするためのマルチモーダル視覚言語モデルを提案する。 本研究では,複数のデータセットにまたがる既存の視覚言語モデルを評価し,オープンドメインから医療分野への移動可能性を評価する。
• 参考スコア（独自算出の注目度）: 0.9324036842528547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical Image Segmentation is crucial in various clinical applications within the medical domain. While state-of-the-art segmentation models have proven effective, integrating textual guidance to enhance visual features for this task remains an area with limited progress. Existing segmentation models that utilize textual guidance are primarily trained on open-domain images, raising concerns about their direct applicability in the medical domain without manual intervention or fine-tuning. To address these challenges, we propose using multimodal vision-language models for capturing semantic information from image descriptions and images, enabling the segmentation of diverse medical images. This study comprehensively evaluates existing vision language models across multiple datasets to assess their transferability from the open domain to the medical field. Furthermore, we introduce variations of image descriptions for previously unseen images in the dataset, revealing notable variations in model performance based on the generated prompts. Our findings highlight the distribution shift between the open-domain images and the medical domain and show that the segmentation models trained on open-domain images are not directly transferrable to the medical field. But their performance can be increased by finetuning them in the medical datasets. We report the zero-shot and finetuned segmentation performance of 4 Vision Language Models (VLMs) on 11 medical datasets using 9 types of prompts derived from 14 attributes.
• Abstract（参考訳）: 医用画像セグメンテーションは、医療領域内の様々な臨床応用において重要である。 最先端セグメンテーションモデルは有効であることが証明されているが、このタスクの視覚的特徴を高めるためにテキストガイダンスを統合することは、まだ進歩の少ない領域である。 テキストガイダンスを利用する既存のセグメンテーションモデルは、主にオープンドメインイメージに基づいてトレーニングされ、手作業による介入や微調整なしに医療領域で直接適用できるという懸念が高まる。 これらの課題に対処するために,画像記述と画像から意味情報を取り出すマルチモーダル視覚言語モデルを提案し,多様な医用画像のセグメンテーションを可能にした。 本研究では,複数のデータセットにまたがる既存の視覚言語モデルを包括的に評価し,オープンドメインから医療分野への移動性を評価する。 さらに,データセット内の未認識画像に対する画像記述のバリエーションについて紹介し,生成されたプロンプトに基づくモデル性能の顕著な変化を明らかにする。 本研究は,オープンドメイン画像と医療領域の分布変化に着目し,オープンドメイン画像で訓練されたセグメンテーションモデルが医療分野に直接移行できないことを示す。 しかし、それらのパフォーマンスは医療データセットで微調整することで向上することができる。 14の属性から抽出した9種類のプロンプトを用いて,11の医療データセット上での視覚言語モデル(VLM)のゼロショットおよび微調整セグメンテーション性能について報告する。

関連論文リスト

• LoGra-Med: Long Context Multi-Graph Alignment for Medical Vision-Language Model [55.80651780294357]
  最新の医療用マルチモーダル大規模言語モデル(med-MLLM)は、事前訓練において命令追従データを活用する。 LoGra-Medは新しいマルチグラフアライメントアルゴリズムで、画像のモダリティ、会話ベースの記述、拡張キャプション間でのトリプルト相関を強制する。 以上の結果から,LoGra-Medは医療用VQAの600K画像テキスト対に対してLAVA-Medと一致し,その10%でトレーニングした場合に有意に優れていた。
  論文  参考訳（メタデータ） (2024-10-03T15:52:03Z)
• ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
  MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。 このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。 視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:01:23Z)
• LSMS: Language-guided Scale-aware MedSegmentor for Medical Image Referring Segmentation [7.912408164613206]
  医用画像参照(MIRS)は、与えられた言語表現に基づく画像の断片化を必要とする。 LSMS(Language-guided Scale-Aware MedSegmentor)というアプローチを提案する。 LSMSは計算コストが低いすべてのデータセットで一貫してパフォーマンスが向上します。
  論文  参考訳（メタデータ） (2024-08-30T15:22:13Z)
• Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
  単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。 本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。 文献における既存手法に対して,本手法は良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-01T17:48:15Z)
• Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
  病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。 その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-03-21T17:58:56Z)
• Synthetic Boost: Leveraging Synthetic Data for Enhanced Vision-Language Segmentation in Echocardiography [0.9324036842528547]
  VLSM(Vision-Language Models)は、リッチなコンテキスト情報を組み込んで、正確で説明可能なセグメンテーションを支援する。 本研究では,セマンティック拡散モデル(SDM)の合成データセットを用いて心エコー区分けのためのVLSMを強化する。 実画像の微調整前に,SDM合成画像上でのVLSMの事前学習において,測定値の改善と収束の高速化が得られた。
  論文  参考訳（メタデータ） (2023-09-22T12:36:30Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Interpretable and synergistic deep learning for visual explanation and statistical estimations of segmentation of disease features from medical images [0.0]
  医学画像からの病因分類やセグメンテーションのための深層学習(DL)モデルは、無関係な自然界画像からの伝達学習(TL)を用いて、ますます訓練されている。 TL後バイナリセグメンテーションに広く用いられているDLアーキテクチャの比較,厳密な統計的解析,および比較について報告する。 TIIおよびLMIモデル、コード、10,000以上の医療画像の無料GitHubリポジトリと、この研究からのGrad-CAM出力は、高度な計算医学の出発点として利用できる。
  論文  参考訳（メタデータ） (2020-11-11T14:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。