Fugu-MT 論文翻訳(概要): Beyond Medical Diagnostics: How Medical Multimodal Large Language Models Think in Space

論文の概要: Beyond Medical Diagnostics: How Medical Multimodal Large Language Models Think in Space

arxiv url: http://arxiv.org/abs/2603.13800v1
Date: Sat, 14 Mar 2026 07:17:45 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-17 16:19:35.416408
Title: Beyond Medical Diagnostics: How Medical Multimodal Large Language Models Think in Space
Title（参考訳）: 医療診断を超えて:医療マルチモーダル大言語モデルが宇宙でどのように考えるか
Abstract要約: 本稿では,空間的視覚的質問応答データを自律的に合成するエージェントパイプラインを提案する。本研究では,医療MLLMにおける3次元空間インテリジェンス評価のための総合的なベンチマークであるSpatialMedを提案する。
参考スコア（独自算出の注目度）: 14.735805321796745
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Visual spatial intelligence is critical for medical image interpretation, yet remains largely unexplored in Multimodal Large Language Models (MLLMs) for 3D imaging. This gap persists due to a systemic lack of datasets featuring structured 3D spatial annotations beyond basic labels. In this study, we introduce an agentic pipeline that autonomously synthesizes spatial visual question-answering (VQA) data by orchestrating computational tools such as volume and distance calculators with multi-agent collaboration and expert radiologist validation. We present SpatialMed, the first comprehensive benchmark for evaluating 3D spatial intelligence in medical MLLMs, comprising nearly 10K question-answer pairs across multiple organs and tumor types. Our evaluations on 14 state-of-the-art MLLMs and extensive analyses reveal that current models lack robust spatial reasoning capabilities for medical imaging.
Abstract（参考訳）: 医用画像の解釈には視覚空間知能が不可欠であるが、3D画像のための多モード大言語モデル(MLLM)では、ほとんど探索されていない。このギャップは、基本的なラベルを超えて構造化された3D空間アノテーションを特徴とするデータセットの体系的な欠如によって持続する。本研究では,空間的視覚的質問応答(VQA)データを自律的に合成するエージェントパイプラインを提案する。医療MLLMにおける3次元空間インテリジェンスを評価するための初の総合的ベンチマークであるSpatialMedについて述べる。 14種類の最先端MLLMの評価と広範囲な分析により,現在のモデルでは医用画像の空間的推論能力が不十分であることが判明した。

関連論文リスト

Volumetric Radiology AI in the Era of Multimodal Large Language Models [62.95443321443533]
ボリュームラジオロジーは、基本的な表現ミスマッチを示します。現在の大言語モデル(MLLM)は、選択された2次元(2次元)画像、圧縮された視覚表現、またはレポート由来のテキストに条件付けされている。信頼性の高い放射線学 AIは、タスクに関連する3D情報と、これらの情報にアクセスし、検証し、統合できるシステムを保存する表現を必要とする。
論文参考訳（メタデータ） (2026-08-20T20:23:41Z)
UCSF-PDGM-VQA: Visual Question Answering dataset for brain tumor MRI interpretation [1.2006896500048554]
脳腫瘍の診断はMRI(MRI)の評価に大きく依存している。放射線学の需要が増えているにもかかわらず、この専門知識は拡張が困難であり、現在の健康システムに支障をきたす。 VLM(Vision-Language Models)は、複雑な脳MRIを半自動でインタラクティブに解釈することで、この負担を軽減する機会を提供する。
論文参考訳（メタデータ） (2026-05-16T20:10:19Z)
Adapting 2D Multi-Modal Large Language Model for 3D CT Image Analysis [52.32262701215441]
マルチモーダル大言語モデル(MLLM)は、堅牢な知覚能力、強力なクロスモーダルアライメント、有望な一般化性を示す。 3D医療画像の不足により、既存の3D医療MLLMは、十分に事前訓練された視覚エンコーダと、カスタマイズされた画像の特徴を抽出することができない。本稿では,テキストプロンプトの指導の下でタスクを識別できるテキストガイド型階層型MoEフレームワークを提案する。
論文参考訳（メタデータ） (2026-04-11T14:36:05Z)
MedVL-SAM2: A unified 3D medical vision-language model for multimodal reasoning and prompt-driven segmentation [11.762545584252052]
本稿では,レポート生成,VQA,マルチパラダイムセグメンテーションをサポートする統合された3次元医療マルチモーダルモデルを提案する。 MedVL-SAM2は、画像レベルの推論とピクセルレベルの認識を3D医療画像用に調整された凝集性アーキテクチャによって統合する。我々の統合アーキテクチャは、レポート生成、VQA、複数の3Dセグメンテーションタスクにまたがって最先端のパフォーマンスを提供する。
論文参考訳（メタデータ） (2026-01-14T21:21:00Z)
3D-RAD: A Comprehensive 3D Radiology Med-VQA Dataset with Multi-Temporal Analysis and Diverse Diagnostic Tasks [22.761853189757772]
医用視覚質問応答 (Med-VQA) は, 臨床診断支援に有意な可能性を秘めている。本稿では,ラジオグラフィCTスキャンを用いた3次元メドVQAの高速化を目的とした大規模データセットである3D-RADを提案する。
論文参考訳（メタデータ） (2025-06-11T09:55:42Z)
Read Like a Radiologist: Efficient Vision-Language Model for 3D Medical Imaging Interpretation [40.73779035606757]
3次元医用画像解釈において,放射線技師のワークフローを模倣したMS-VLMを導入する。特に、放射線学者は、個々のスライスを連続的に分析し、スライスとビューにまたがる情報を合成することによって、3Dの医療画像を分析する。 MS-VLMは、スライス長の3次元医用画像と、異なる平面と位相から取得した複数の画像から有用なボリューム表現を得ることができる。
論文参考訳（メタデータ） (2024-12-18T07:19:48Z)
Med-2E3: A 2D-Enhanced 3D Medical Multimodal Large Language Model [17.69323209661274]
デュアル3D-2Dエンコーダアーキテクチャを統合した3次元医療MLLMであるMed-2E3を提案する。 2次元特徴を効果的に集約するために,テキストガイド型インタースライス(TG-IS)スコアリングモジュールを設計する。大規模でオープンソースの医療用マルチモーダルデータセットの実験は、TG-ISがタスク固有の注意分布を示すことを示した。
論文参考訳（メタデータ） (2024-11-19T09:59:59Z)
MedTrinity-25M: A Large-scale Multimodal Dataset with Multigranular Annotations for Medicine [53.01393667775077]
本稿では,医療用大規模マルチモーダルデータセットであるMedTrinity-25Mを紹介する。 65以上の疾患に対する多彩なアノテーションを備えた10のモダリティで、2500万以上の画像をカバーしている。画像テキストペアの可用性に制限がある既存のマルチモーダルデータセットとは異なり、我々は最初の自動パイプラインを開発した。
論文参考訳（メタデータ） (2024-08-06T02:09:35Z)
Brain3D: Generating 3D Objects from fMRI [78.46936519561298]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文参考訳（メタデータ） (2024-05-24T06:06:11Z)
M3D: Advancing 3D Medical Image Analysis with Multi-Modal Large Language Models [49.5030774873328]
これまでの研究は主に2Dの医療画像に焦点を合わせてきた。 120K画像テキスト対と62K命令応答対からなる大規模3次元マルチモーダル医療データセットM3D-Dataを提案する。また,新しい3次元マルチモーダル・メディカル・ベンチマークであるM3D-Benchを導入し,8つのタスクにまたがる自動評価を容易にする。
論文参考訳（メタデータ） (2024-03-31T06:55:12Z)
XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [72.8965643836841]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文参考訳（メタデータ） (2023-06-13T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。