論文の概要: Does medical specialization of VLMs enhance discriminative power?: A comprehensive investigation through feature distribution analysis

• arxiv url: http://arxiv.org/abs/2601.14774v1
• Date: Wed, 21 Jan 2026 08:53:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.297476
• Title: Does medical specialization of VLMs enhance discriminative power?: A comprehensive investigation through feature distribution analysis
• Title（参考訳）: VLMの医療専門化は差別力を高めるか:特徴分布分析による包括的調査
• Authors: Keita Takeda, Tomoya Sakai,
• Abstract要約: 本研究では,オープンソース医療ビジョン言語モデル(VLM)が生成する特徴表現について検討する。 実験の結果,医療用VLMは,医療用分類作業に有効な識別的特徴を抽出できることがわかった。 以上の結果から,医療用VLMの開発において,テキストエンコーダの強化は医用画像の集中的な訓練よりも重要であることが示唆された。
• 参考スコア（独自算出の注目度）: 2.243145970857166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates the feature representations produced by publicly available open source medical vision-language models (VLMs). While medical VLMs are expected to capture diagnostically relevant features, their learned representations remain underexplored, and standard evaluations like classification accuracy do not fully reveal if they acquire truly discriminative, lesion-specific features. Understanding these representations is crucial for revealing medical image structures and improving downstream tasks in medical image analysis. This study aims to investigate the feature distributions learned by medical VLMs and evaluate the impact of medical specialization. We analyze the feature distribution of multiple image modalities extracted by some representative medical VLMs across lesion classification datasets on multiple modalities. These distributions were compared them with non-medical VLMs to assess the domain-specific medical training. Our experiments showed that medical VLMs can extract discriminative features that are effective for medical classification tasks. Moreover, it was found that non-medical VLMs with recent improvement with contextual enrichment such as LLM2CLIP produce more refined feature representations. Our results imply that enhancing text encoder is more crucial than training intensively on medical images when developing medical VLMs. Notably, non-medical models are particularly vulnerable to biases introduced by overlaied text strings on images. These findings underscore the need for careful consideration on model selection according to downstream tasks besides potential risks in inference due to background biases such as textual information in images.
• Abstract（参考訳）: 本研究では,オープンソース医療ビジョン言語モデル(VLM)による特徴表現について検討した。 医学的なVLMは診断に関連のある特徴を捉えることが期待されているが、それらの学習された表現は未発見のままであり、分類精度のような標準的な評価は、真に差別的で病変特異的な特徴を得るかどうかを完全には明らかにしない。 これらの表現を理解することは、医用画像構造を明らかにし、医用画像解析における下流タスクを改善するために重要である。 本研究は, 医療用VLMが学習した特徴分布について検討し, 医療専門化の効果を評価することを目的とする。 我々は,複数のモダリティに基づく病変分類データセットを用いて,いくつかの代表的な医用VLMから抽出した複数の画像モダリティの特徴分布を解析した。 これらの分布は、ドメイン固有の医療訓練を評価するために、非医療用VLMと比較された。 実験の結果,医療用VLMは,医療用分類作業に有効な識別的特徴を抽出できることがわかった。 さらに,近年のLLM2CLIPのようなコンテキスト拡張による非医療用VLMでは,より洗練された特徴表現が得られている。 以上の結果から,医療用VLMの開発において,テキストエンコーダの強化は医用画像の集中的な訓練よりも重要であることが示唆された。 特に、非医療モデルは、画像上のオーバーレイテキスト文字列によって導入されたバイアスに特に脆弱である。 これらの結果は、画像中のテキスト情報などの背景バイアスによる推論の潜在的なリスクに加えて、下流タスクによるモデル選択に対する慎重な検討の必要性を浮き彫りにした。

関連論文リスト

• Multimodal Causal-Driven Representation Learning for Generalizable Medical Image Segmentation [56.52520416420957]
  医用画像セグメンテーションにおける領域一般化に取り組むために, MCDRL(Multimodal Causal-Driven Representation Learning)を提案する。 MCDRLは競合する手法より一貫して優れ、セグメンテーション精度が優れ、堅牢な一般化性を示す。
  論文  参考訳（メタデータ） (2025-08-07T03:41:41Z)
• Your other Left! Vision-Language Models Fail to Identify Relative Positions in Medical Images [8.797134639962982]
  医用画像上の相対的な位置を正確に決定できる最先端のビジョンランゲージモデル(VLM)の能力を評価する。 解剖学的構造の上に置かれるアルファ数値や着色マーカーなどの視覚的プロンプトが、性能を高めることができるかどうかを検討する。 以上の結果から,医用画像では,VLMは実際の画像内容よりも解剖学的知識に頼っていることが示唆された。
  論文  参考訳（メタデータ） (2025-08-01T11:44:06Z)
• Point, Detect, Count: Multi-Task Medical Image Understanding with Instruction-Tuned Vision-Language Models [3.3091869879941687]
  マルチタスク医療画像理解のための微調整視覚言語モデル(VLM)について検討する。 我々は各タスクを視覚言語推論に適した命令ベースのプロンプトに再構成する。 その結果,マルチタスクトレーニングにより堅牢性と精度が向上した。
  論文  参考訳（メタデータ） (2025-05-22T13:18:44Z)
• RetinalGPT: A Retinal Clinical Preference Conversational Assistant Powered by Large Vision-Language Models [17.579521693647383]
  臨床的に好ましい網膜画像の定量的解析のための多モード対話アシスタントであるtextitRetinalGPT を紹介する。 特に網膜GPTは、網膜疾患の診断において、ジェネリックドメインのMLLMよりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2025-03-06T00:19:54Z)
• Improving Medical Large Vision-Language Models with Abnormal-Aware Feedback [57.98393950821579]
  医学的異常を明らかにするための新しいUMed-LVLMを提案する。 本稿では,GPT-4Vを用いた診断手法を提案する。 UMed-LVLMは既存のMed-LVLMよりも医療異常の同定と理解に優れていた。
  論文  参考訳（メタデータ） (2025-01-02T17:37:20Z)
• A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
  医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。 本稿では,MVLMの概要と適用した各種医療課題について概観する。 また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
  論文  参考訳（メタデータ） (2024-11-19T03:27:05Z)
• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• MedFLIP: Medical Vision-and-Language Self-supervised Fast Pre-Training with Masked Autoencoder [26.830574964308962]
  本稿では,医療分析のための高速言語画像事前学習手法であるMedFLIPを紹介する。 交差ドメインを用いたゼロショット学習のためのMAEを探索し、限られたデータから学習するモデルの能力を向上する。 最後に,医療画像解析におけるゼロショット性能の向上を言語を用いて検証する。
  論文  参考訳（メタデータ） (2024-03-07T16:11:43Z)
• Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary Task Integration [54.76511683427566]
  本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。 この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。 PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-16T05:16:20Z)
• OmniMedVQA: A New Large-Scale Comprehensive Evaluation Benchmark for Medical LVLM [48.16696073640864]
  我々は,新しい包括的ビジュアル質問回答(VQA)ベンチマークであるOmniMedVQAを紹介する。 このベンチマークのすべての画像は、本物の医療シナリオから得られたものです。 既存のLVLMはこれらの医療用VQA問題に効果的に取り組むのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T13:51:56Z)
• FeaInfNet: Diagnosis in Medical Image with Feature-Driven Inference and Visual Explanations [4.022446255159328]
  解釈可能なディープラーニングモデルは、画像認識の分野で広く注目を集めている。 提案されている多くの解釈可能性モデルは、医用画像診断の精度と解釈性に問題がある。 これらの問題を解決するために,機能駆動型推論ネットワーク(FeaInfNet)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T13:09:00Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。