論文の概要: Does medical specialization of VLMs enhance discriminative power?: A comprehensive investigation through feature distribution analysis

• arxiv url: http://arxiv.org/abs/2601.14774v1
• Date: Wed, 21 Jan 2026 08:53:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.297476
• Title: Does medical specialization of VLMs enhance discriminative power?: A comprehensive investigation through feature distribution analysis
• Title（参考訳）: VLMの医療専門化は差別力を高めるか:特徴分布分析による包括的調査
• Authors: Keita Takeda, Tomoya Sakai,
• Abstract要約: 本研究では,オープンソース医療ビジョン言語モデル(VLM)が生成する特徴表現について検討する。 実験の結果,医療用VLMは,医療用分類作業に有効な識別的特徴を抽出できることがわかった。 以上の結果から,医療用VLMの開発において,テキストエンコーダの強化は医用画像の集中的な訓練よりも重要であることが示唆された。
• 参考スコア（独自算出の注目度）: 2.243145970857166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates the feature representations produced by publicly available open source medical vision-language models (VLMs). While medical VLMs are expected to capture diagnostically relevant features, their learned representations remain underexplored, and standard evaluations like classification accuracy do not fully reveal if they acquire truly discriminative, lesion-specific features. Understanding these representations is crucial for revealing medical image structures and improving downstream tasks in medical image analysis. This study aims to investigate the feature distributions learned by medical VLMs and evaluate the impact of medical specialization. We analyze the feature distribution of multiple image modalities extracted by some representative medical VLMs across lesion classification datasets on multiple modalities. These distributions were compared them with non-medical VLMs to assess the domain-specific medical training. Our experiments showed that medical VLMs can extract discriminative features that are effective for medical classification tasks. Moreover, it was found that non-medical VLMs with recent improvement with contextual enrichment such as LLM2CLIP produce more refined feature representations. Our results imply that enhancing text encoder is more crucial than training intensively on medical images when developing medical VLMs. Notably, non-medical models are particularly vulnerable to biases introduced by overlaied text strings on images. These findings underscore the need for careful consideration on model selection according to downstream tasks besides potential risks in inference due to background biases such as textual information in images.
• Abstract（参考訳）: 本研究では,オープンソース医療ビジョン言語モデル(VLM)による特徴表現について検討した。 医学的なVLMは診断に関連のある特徴を捉えることが期待されているが、それらの学習された表現は未発見のままであり、分類精度のような標準的な評価は、真に差別的で病変特異的な特徴を得るかどうかを完全には明らかにしない。 これらの表現を理解することは、医用画像構造を明らかにし、医用画像解析における下流タスクを改善するために重要である。 本研究は, 医療用VLMが学習した特徴分布について検討し, 医療専門化の効果を評価することを目的とする。 我々は,複数のモダリティに基づく病変分類データセットを用いて,いくつかの代表的な医用VLMから抽出した複数の画像モダリティの特徴分布を解析した。 これらの分布は、ドメイン固有の医療訓練を評価するために、非医療用VLMと比較された。 実験の結果,医療用VLMは,医療用分類作業に有効な識別的特徴を抽出できることがわかった。 さらに,近年のLLM2CLIPのようなコンテキスト拡張による非医療用VLMでは,より洗練された特徴表現が得られている。 以上の結果から,医療用VLMの開発において,テキストエンコーダの強化は医用画像の集中的な訓練よりも重要であることが示唆された。 特に、非医療モデルは、画像上のオーバーレイテキスト文字列によって導入されたバイアスに特に脆弱である。 これらの結果は、画像中のテキスト情報などの背景バイアスによる推論の潜在的なリスクに加えて、下流タスクによるモデル選択に対する慎重な検討の必要性を浮き彫りにした。

関連論文リスト

• Multimodal Causal-Driven Representation Learning for Generalizable Medical Image Segmentation [56.52520416420957]
  医用画像セグメンテーションにおける領域一般化に取り組むために, MCDRL(Multimodal Causal-Driven Representation Learning)を提案する。 MCDRLは競合する手法より一貫して優れ、セグメンテーション精度が優れ、堅牢な一般化性を示す。
  論文  参考訳（メタデータ） (2025-08-07T03:41:41Z)
• Your other Left! Vision-Language Models Fail to Identify Relative Positions in Medical Images [8.797134639962982]
  医用画像上の相対的な位置を正確に決定できる最先端のビジョンランゲージモデル(VLM)の能力を評価する。 解剖学的構造の上に置かれるアルファ数値や着色マーカーなどの視覚的プロンプトが、性能を高めることができるかどうかを検討する。 以上の結果から,医用画像では,VLMは実際の画像内容よりも解剖学的知識に頼っていることが示唆された。
  論文  参考訳（メタデータ） (2025-08-01T11:44:06Z)
• RetinalGPT: A Retinal Clinical Preference Conversational Assistant Powered by Large Vision-Language Models [17.579521693647383]
  臨床的に好ましい網膜画像の定量的解析のための多モード対話アシスタントであるtextitRetinalGPT を紹介する。 特に網膜GPTは、網膜疾患の診断において、ジェネリックドメインのMLLMよりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2025-03-06T00:19:54Z)
• Improving Medical Large Vision-Language Models with Abnormal-Aware Feedback [57.98393950821579]
  医学的異常を明らかにするための新しいUMed-LVLMを提案する。 本稿では,GPT-4Vを用いた診断手法を提案する。 UMed-LVLMは既存のMed-LVLMよりも医療異常の同定と理解に優れていた。
  論文  参考訳（メタデータ） (2025-01-02T17:37:20Z)
• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• MedFLIP: Medical Vision-and-Language Self-supervised Fast Pre-Training with Masked Autoencoder [26.830574964308962]
  本稿では,医療分析のための高速言語画像事前学習手法であるMedFLIPを紹介する。 交差ドメインを用いたゼロショット学習のためのMAEを探索し、限られたデータから学習するモデルの能力を向上する。 最後に,医療画像解析におけるゼロショット性能の向上を言語を用いて検証する。
  論文  参考訳（メタデータ） (2024-03-07T16:11:43Z)
• OmniMedVQA: A New Large-Scale Comprehensive Evaluation Benchmark for Medical LVLM [48.16696073640864]
  我々は,新しい包括的ビジュアル質問回答(VQA)ベンチマークであるOmniMedVQAを紹介する。 このベンチマークのすべての画像は、本物の医療シナリオから得られたものです。 既存のLVLMはこれらの医療用VQA問題に効果的に取り組むのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T13:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。