論文の概要: Your other Left! Vision-Language Models Fail to Identify Relative Positions in Medical Images

• arxiv url: http://arxiv.org/abs/2508.00549v1
• Date: Fri, 01 Aug 2025 11:44:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.858246
• Title: Your other Left! Vision-Language Models Fail to Identify Relative Positions in Medical Images
• Title（参考訳）: 医用画像における相対的位置の特定に失敗した視覚言語モデル
• Authors: Daniel Wolf, Heiko Hillenhagen, Billurvan Taskin, Alex Bäuerle, Meinrad Beer, Michael Götz, Timo Ropinski,
• Abstract要約: 医用画像上の相対的な位置を正確に決定できる最先端のビジョンランゲージモデル(VLM)の能力を評価する。 解剖学的構造の上に置かれるアルファ数値や着色マーカーなどの視覚的プロンプトが、性能を高めることができるかどうかを検討する。 以上の結果から,医用画像では,VLMは実際の画像内容よりも解剖学的知識に頼っていることが示唆された。
• 参考スコア（独自算出の注目度）: 8.797134639962982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clinical decision-making relies heavily on understanding relative positions of anatomical structures and anomalies. Therefore, for Vision-Language Models (VLMs) to be applicable in clinical practice, the ability to accurately determine relative positions on medical images is a fundamental prerequisite. Despite its importance, this capability remains highly underexplored. To address this gap, we evaluate the ability of state-of-the-art VLMs, GPT-4o, Llama3.2, Pixtral, and JanusPro, and find that all models fail at this fundamental task. Inspired by successful approaches in computer vision, we investigate whether visual prompts, such as alphanumeric or colored markers placed on anatomical structures, can enhance performance. While these markers provide moderate improvements, results remain significantly lower on medical images compared to observations made on natural images. Our evaluations suggest that, in medical imaging, VLMs rely more on prior anatomical knowledge than on actual image content for answering relative position questions, often leading to incorrect conclusions. To facilitate further research in this area, we introduce the MIRP , Medical Imaging Relative Positioning, benchmark dataset, designed to systematically evaluate the capability to identify relative positions in medical images.
• Abstract（参考訳）: 臨床的意思決定は解剖学的構造や異常の相対的な位置を理解することに大きく依存する。 したがって、VLM(Vision-Language Models)が臨床に応用されるためには、医用画像上の相対的な位置を正確に決定する能力が不可欠である。 その重要性にもかかわらず、この能力は非常に過小評価されている。 このギャップに対処するため、我々は最先端のVLM、GPT-4o、Llama3.2、Pixtral、JanusProの能力を評価し、全てのモデルがこの基本的なタスクで失敗することを確認した。 コンピュータビジョンにおけるアプローチの成功にインスパイアされ、解剖学的構造の上に置かれるアルファ数値や着色マーカーなどの視覚的プロンプトが、性能を高めることができるかどうかを考察する。 これらのマーカーは、適度な改善をもたらすが、結果は、自然画像上の観察に比べて、医療画像において著しく低いままである。 医用画像では, VLMは, 実際の画像内容よりも解剖学的知識に頼っていることが示唆され, しばしば誤った結論が導かれる。 この領域のさらなる研究を容易にするために、医用画像における相対位置を識別する能力を体系的に評価するためのベンチマークデータセットであるMIRP(Medical Imaging Relative Positioning)を導入する。

関連論文リスト

• How Far Have Medical Vision-Language Models Come? A Comprehensive Benchmarking Study [16.84832179579428]
  VLM(Vision-Language Models)は、Webスケールのコーパスを訓練し、自然画像のタスクに優れ、医療に利用されつつある。 本稿では,8つのベンチマークを用いて,オープンソース汎用および医療専門のVLMの総合評価を行う。 まず、大規模な汎用モデルは、いくつかのベンチマークで、すでに医学固有のモデルと一致しているか、あるいは超えている。 第二に、推論のパフォーマンスは理解よりも一貫して低く、安全な意思決定支援にとって重要な障壁を強調します。
  論文  参考訳（メタデータ） (2025-07-15T11:12:39Z)
• DrVD-Bench: Do Vision-Language Models Reason Like Human Doctors in Medical Image Diagnosis? [1.1094764204428438]
  臨床ビジュアル推論のための最初のベンチマークであるDrVD-Benchを提案する。 DrVD-Benchは、ビジュアルエビデンス、推論軌道評価、レポート生成評価の3つのモジュールで構成されている。 本ベンチマークでは,20のタスクタイプ,17の診断カテゴリ,CT,MRI,超音波,X線撮影,病理の5つの画像モダリティについて検討した。
  論文  参考訳（メタデータ） (2025-05-30T03:33:25Z)
• PRS-Med: Position Reasoning Segmentation with Vision-Language Model in Medical Imaging [6.411386758550256]
  PRS-Medは、視覚言語モデルとセグメンテーション機能を統合し、正確なセグメンテーションマスクとそれに対応する空間推論出力の両方を生成するフレームワークである。 MMRSデータセットは、医療画像における位置推論データの欠如に対処するために、多様な空間的な質問応答ペアを提供する。
  論文  参考訳（メタデータ） (2025-05-17T06:42:28Z)
• Fine-tuning Vision Language Models with Graph-based Knowledge for Explainable Medical Image Analysis [44.38638601819933]
  現在の糖尿病網膜症(DR)のステージングモデルはほとんど解釈できない。 本稿では,グラフ表現学習を視覚言語モデル(VLM)と統合し,説明可能なDR診断を実現する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T20:19:07Z)
• ClinKD: Cross-Modal Clinical Knowledge Distiller For Multi-Task Medical Images [4.353855760968461]
  画像テキストアライメントを強化し、より効果的な医療知識変換機構を確立するために設計されたクロスモーダル臨床知識障害(ClinKD)。 ClinKDは、Med-VQAタスクでは難しいいくつかのデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-09T15:08:10Z)
• Fréchet Radiomic Distance (FRD): A Versatile Metric for Comparing Medical Imaging Datasets [13.737058479403311]
  Fr'echet Radiomic Distance (Fr'echet Radiomic Distance) という医療画像に適した新しい知覚基準を導入する。 FRDは、様々な医療画像の分野で、他の画像分布指標よりも優れていることを示す。 FRDは、低いサンプルサイズでの安定性や計算効率などの付加的な利点を提供する。
  論文  参考訳（メタデータ） (2024-12-02T13:49:14Z)
• Visual Prompt Engineering for Vision Language Models in Radiology [0.17183214167143138]
  Contrastive Language-Image Pretraining (CLIP)は,マルチモーダルな大規模事前訓練によるゼロショット分類を可能にすることで,有望なソリューションを提供する。 CLIPは、グローバルな画像コンテンツを効果的にキャプチャするが、ラジオロジーは、解釈可能性と診断精度の両方を高めるために、特定の病理領域により局所的な焦点をあてる必要がある。 視覚的手がかりをゼロショット分類に組み込む可能性を探り、矢印、バウンディングボックス、円などの視覚的マーカーを直接放射線画像に埋め込んでモデル注意を誘導する。
  論文  参考訳（メタデータ） (2024-08-28T13:53:27Z)
• A Textbook Remedy for Domain Shifts: Knowledge Priors for Medical Image Analysis [48.84443450990355]
  ディープネットワークは、医学的なスキャンに適用すると、例外のない状況で失敗することが多いため、自然画像の解析において広く成功している。 胸部X線や皮膚病変画像の文脈において、異なる病院から採取したデータや、性別、人種などの人口統計学的変数によって構築されたデータなど、ドメインシフトに対するモデル感度に焦点をあてる。 医学教育からインスピレーションを得て,自然言語で伝達される明示的な医学知識を基盤としたディープネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T17:55:02Z)
• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• OmniMedVQA: A New Large-Scale Comprehensive Evaluation Benchmark for Medical LVLM [48.16696073640864]
  我々は,新しい包括的ビジュアル質問回答(VQA)ベンチマークであるOmniMedVQAを紹介する。 このベンチマークのすべての画像は、本物の医療シナリオから得られたものです。 既存のLVLMはこれらの医療用VQA問題に効果的に取り組むのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T13:51:56Z)
• A Systematic Evaluation of GPT-4V's Multimodal Capability for Medical Image Analysis [87.25494411021066]
  医用画像解析のためのGPT-4Vのマルチモーダル機能の評価を行った。 GPT-4Vは医用画像の理解に優れ、高品質な放射線診断レポートを生成する。 医用視覚接地の性能は大幅に改善する必要があることが判明した。
  論文  参考訳（メタデータ） (2023-10-31T11:39:09Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• Region-based Contrastive Pretraining for Medical Image Retrieval with Anatomic Query [56.54255735943497]
  医用画像検索のための地域別コントラスト事前トレーニング(RegionMIR) 医用画像検索のための領域ベースコントラスト事前トレーニング(RegionMIR)について紹介する。
  論文  参考訳（メタデータ） (2023-05-09T16:46:33Z)
• An Interpretable Multiple-Instance Approach for the Detection of referable Diabetic Retinopathy from Fundus Images [72.94446225783697]
  基礎画像における参照糖尿病網膜症検出のための機械学習システムを提案する。 画像パッチから局所情報を抽出し,アテンション機構により効率的に組み合わせることで,高い分類精度を実現することができる。 我々は,現在入手可能な網膜画像データセットに対するアプローチを評価し,最先端の性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T13:14:15Z)
• Explaining Clinical Decision Support Systems in Medical Imaging using Cycle-Consistent Activation Maximization [112.2628296775395]
  ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。 臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。 そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
  論文  参考訳（メタデータ） (2020-10-09T14:39:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。