Fugu-MT 論文翻訳(概要): How Medical VLMs Underutilize Their Vision Encoders: A Dermatology Perspective

論文の概要: How Medical VLMs Underutilize Their Vision Encoders: A Dermatology Perspective

arxiv url: http://arxiv.org/abs/2609.36557v1
Date: Tue, 29 Sep 2026 02:42:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-30 21:28:47.13049
Title: How Medical VLMs Underutilize Their Vision Encoders: A Dermatology Perspective
Title（参考訳）: 医用VLMの視覚エンコーダの活用方法:皮膚科学的視点
Abstract要約: 皮膚科では、MedSigLIPエンコーダはMedGemmaを平均10.26パーセント上回っている。このギャップは、視覚情報がどのようにエンド・ツー・エンドの診断に使用されるかを研究する動機となっている。
参考スコア（独自算出の注目度）: 14.478597448595954
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Medical Vision-Language Models (VLMs) show significant promise for clinical image understanding, offering accurate diagnosis with interpretable reasoning. However, a critical performance gap exists between their strong vision encoders and the full multimodal model: in dermatology, the MedSigLIP encoder outperforms MedGemma by an average of 10.26 percentage points even when both use zero target-task labels; few-shot linear probing provides further evidence of strong visual representations. This gap motivates an investigation of how visual information is used in end-to-end diagnosis and why plausible-sounding predictions can lack grounding in image evidence. Using dermatology as our primary testbed, we systematically investigate three hypotheses for this phenomenon. We further provide a mechanistic analysis of the model's internal attention patterns, showing that a simple describe-then-decide prompting strategy increases vision attention by 30-40% during generation. Task-specific fine-tuning improves dermatology classification but reduces cross-domain medical question-answering performance in our evaluation. To address these challenges, we combine label-free prompting with low-label encoder-assisted reranking while keeping the VLM frozen. We validate the interventions across five VLM backbones in dermatology and provide supporting representation and attention analyses across additional medical modalities.
Abstract（参考訳）: 医用ビジョン・ランゲージモデル(VLM)は臨床画像理解に有意な可能性を示し、解釈可能な推論による正確な診断を提供する。しかし、強い視覚エンコーダと完全なマルチモーダルモデルの間には重要な性能差がある:皮膚学では、MedSigLIPエンコーダは、ターゲットタスクラベルがゼロであっても平均10.26ポイントでMedGemmaを上回る。このギャップは、視覚情報がどのようにエンド・ツー・エンドの診断に使われているか、そしてなぜ画像証拠の根拠を欠いているのかを調査する動機となっている。皮膚科を主検体として,本現象の3つの仮説を体系的に検討した。さらに、モデル内部の注意パターンの機械的分析を行い、単純な記述・テーマ・デシドによる戦略の促進により、世代間における視覚的注意が30～40%増加することを示す。タスク固有の微調整は皮膚学の分類を改善するが、評価において領域横断医療質問応答性能を低下させる。これらの課題に対処するため、ラベルフリープロンプトと低ラベルエンコーダ支援リランクを併用し、VLMを凍結し続ける。皮膚科学における5つのVLMバックボーン間の介入を検証し、追加の医学的モダリティに対する表現と注意分析を支援する。

関連論文リスト

MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
論文参考訳（メタデータ） (2026-06-04T20:24:47Z)
DermAgent: A Self-Reflective Agentic System for Dermatological Image Analysis with Multi-Tool Reasoning and Traceable Decision-Making [29.77553689478667]
DermAgentはPlan-Execute-Reflectフレームワーク内で7つの特別なビジョンと言語モジュールを編成する。相補的な視覚認識ツールを使用して、包括的な形態的記述、皮膚内視鏡的概念アノテーション、病気の診断を行う。最先端のMLLMと医療エージェントのベースラインは、ゼロショットのきめ細かい疾患診断、概念アノテーション、臨床キャプションタスクで一貫して優れています。
論文参考訳（メタデータ） (2026-05-14T05:41:11Z)
Med-StepBench: A Hierarchical Reasoning Framework for Evaluating Hallucinations in Medical Vision-Language Models [8.20487574753681]
既存の幻覚ベンチマークは、主に1ショットの診断質問を伴う2Dイメージングに焦点を当てている。我々は3DオンコロジーPET/CTにおける段階的幻覚検出のための最初の大規模ベンチマークであるMed-StepBenchを紹介する。
論文参考訳（メタデータ） (2026-05-11T05:26:59Z)
Does medical specialization of VLMs enhance discriminative power?: A comprehensive investigation through feature distribution analysis [2.243145970857166]
本研究では,オープンソース医療ビジョン言語モデル(VLM)が生成する特徴表現について検討する。実験の結果,医療用VLMは,医療用分類作業に有効な識別的特徴を抽出できることがわかった。以上の結果から,医療用VLMの開発において,テキストエンコーダの強化は医用画像の集中的な訓練よりも重要であることが示唆された。
論文参考訳（メタデータ） (2026-01-21T08:53:40Z)
DermoGPT: Open Weights and Open Data for Morphology-Grounded Dermatological Reasoning MLLMs [54.8829900010621]
MLLM (Multimodal Large Language Models) は、医学的応用を約束するが、限られたトレーニングデータ、狭いタスクカバレッジ、臨床現場での監督の欠如により、皮膚科の遅れが進行する。これらのギャップに対処するための包括的なフレームワークを提示します。まず,211,243のイメージと72,675のトラジェクトリを5つのタスク形式に分けた大規模形態素解析コーパスであるDermo Instructを紹介する。第二にDermoBenchは、4つの臨床軸(形態学、診断、推論、フェアネス)にまたがる11のタスクを評価する厳密なベンチマークで、3600の挑戦的なサブセットを含む。
論文参考訳（メタデータ） (2026-01-05T07:55:36Z)
TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models [54.48710348910535]
既存の医学推論ベンチマークは、主に1回の訪問からの画像に基づいて患者の状態を分析することに焦点を当てている。臨床訪問における患者の状態の変化を分析するための最初のベンチマークであるTemMed-Benchを紹介する。
論文参考訳（メタデータ） (2025-09-29T17:51:26Z)
LMOD: A Large Multimodal Ophthalmology Dataset and Benchmark for Large Vision-Language Models [38.78576472811659]
大規模視覚言語モデル(LVLM)は、解剖情報を理解し、眼疾患を診断し、解釈と追跡計画の作成を支援する可能性がある。我々は、クローズドソース、オープンソース、医療ドメインの13の最先端のLVLM代表をベンチマークした。その結果,眼科領域では他の領域と比較してLVLMが有意に低下した。
論文参考訳（メタデータ） (2024-10-02T14:57:58Z)
SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models [54.32264601568605]
SkinGENは、VLMが提供する診断結果から参照デモを生成する、診断から生成までのフレームワークである。システム性能と説明可能性の両方を評価するために,32人の参加者によるユーザスタディを実施している。その結果、SkinGENはVLM予測に対するユーザの理解を著しく改善し、診断プロセスへの信頼を高めることが示されている。
論文参考訳（メタデータ） (2024-04-23T05:36:33Z)
Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
論文参考訳（メタデータ） (2024-04-10T07:41:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。