Fugu-MT 論文翻訳(概要): IMCBench: A benchmark for multimodal LLMs in Image-grounded Medical Conversations

論文の概要: IMCBench: A benchmark for multimodal LLMs in Image-grounded Medical Conversations

arxiv url: http://arxiv.org/abs/2606.28556v1
Date: Fri, 26 Jun 2026 19:18:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.601034
Title: IMCBench: A benchmark for multimodal LLMs in Image-grounded Medical Conversations
Title（参考訳）: IMCBench:画像地上医療会話におけるマルチモーダルLLMのベンチマーク
Abstract要約: IMCBenchは,医用画像と医用画像の合成とを併用した画像グラウンド・マルチターン医療会話ベンチマークである。各会話は、安全性、正確性、診断における不確実性の使用の3つの臨床的側面で評価される。以上の結果から,Claude Opus 4.6が最も高いスコア(3.61),Claude Sonnet 4.6(3.30),GPT-5.2(3.29)が得られた。
参考スコア（独自算出の注目度）: 5.460897030541662
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in large language models and vision-language models have enabled reasoning over multimodal data, offering opportunities for clinical applications such as decision support and triaging. However, existing medical AI benchmarks are fragmented: some support multi-turn dialogues but lack images, while others provide multimodal inputs but focus on single-turn QA tasks. To address this gap, we introduce IMCBench, an image-grounded, multi-turn medical conversation benchmark that pairs real, publicly available clinical images with synthetic patient profiles to simulate realistic patient-clinician interactions. Each conversation is evaluated across three clinical dimensions: safety, accuracy, and appropriate use of uncertainty in diagnosis. We benchmark eight multimodal frontier models across four model families (Claude, GPT, Nova, and Llama), scoring each on a 1-5 scale using LLM-as-Jury scoring calibrated against expert clinician annotations. Our results show that Claude Opus 4.6 achieves the highest overall score (3.61), followed by Claude Sonnet 4.6 (3.30) and GPT-5.2 (3.29), though no model dominates all dimensions and safety degrades for both malignant and rare conditions ($Δ$ = -0.27 each). Ablation studies further reveal that both visual input and EHR context contribute to safe guidance (safety drops of 0.18 and 0.23 on average when each is removed), with stronger models leveraging visual features more effectively. Together, these findings demonstrate that accurate clinical description does not guarantee safe patient guidance, motivating the need for multi-dimensional evaluation frameworks in medical AI.
Abstract（参考訳）: 大規模言語モデルや視覚言語モデルの最近の進歩は、多モーダルデータに対する推論を可能にし、意思決定支援やトリアージといった臨床応用の機会を提供している。しかし、既存の医療AIベンチマークは断片化されている。複数のターンダイアログをサポートするものもあれば、イメージが欠落するものもあれば、マルチモーダルな入力を提供するものもあるが、シングルターンQAタスクにフォーカスするものもある。 IMCBenchは、実際の臨床画像を合成患者プロファイルと組み合わせて、現実的な患者と臨床の相互作用をシミュレートする、画像グラウンド化されたマルチターン医療会話ベンチマークである。各会話は、安全性、正確性、診断における不確実性の使用の3つの臨床的側面で評価される。我々は,4つのモデルファミリー(Claude,GPT,Nova,Llama)にまたがる8つのマルチモーダルフロンティアモデルをベンチマークした。以上の結果からClaude Opus 4.6が最高スコア(3.61)、Claude Sonnet 4.6(3.30)、GPT-5.2(3.29)が続くことがわかった。アブレーション研究により、視覚入力とERHコンテキストの両方が安全なガイダンス(それぞれが取り除かれた場合の平均で0.18と0.23の安全性低下)に寄与し、より強力なモデルが視覚的特徴をより効果的に活用できることが明らかにされた。これらの結果から,医療用AIにおける多次元評価フレームワークの必要性が示唆された。

関連論文リスト

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding [67.57715989349471]
MLLM(Multimodal large language model)は、臨床実践に革命をもたらす大きな可能性を秘めている。我々は、総合的な医学的理解のために設計された視覚中心のMLLMであるClinFusionを紹介する。 ClinFusionは、総合的な2Dおよび3Dマルチモーダル・メディカル・ベンチマーク・スイートにまたがって、最先端の新たな状態を設定する。
論文参考訳（メタデータ） (2026-07-27T17:59:49Z)
NeuroVLM-Bench: Evaluation of Vision-Enabled Large Language Models for Clinical Reasoning in Neurological Disorders [0.46375328256275944]
本稿では2次元ニューロイメージングのための視覚対応大規模言語モデルのベンチマーク研究を行う。我々は,多発性硬化症,脳卒中,脳腫瘍,その他の異常,正常なコントロールを対象とするMRIおよびCTデータセットを用いて検討した。腫瘍分類は最も信頼性の高い課題として現れ、脳卒中は適度に解決できるが、多発性硬化症や稀な異常は依然として困難である。
論文参考訳（メタデータ） (2026-03-25T22:26:06Z)
Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。 Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
論文参考訳（メタデータ） (2026-03-23T05:46:45Z)
Generalist Large Language Models Outperform Clinical Tools on Medical Benchmarks [1.2773749417703923]
ジェネラリストモデルは一貫して臨床ツールより優れていた。 OpenEvidenceとUpToDate Expert AIは、完全性、コミュニケーション品質、コンテキスト認識、システムベースの安全性推論の欠陥を実証した。
論文参考訳（メタデータ） (2025-12-01T02:14:43Z)
Med-CMR: A Fine-Grained Benchmark Integrating Visual Evidence and Clinical Logic for Medical Complex Multimodal Reasoning [37.6854362777847]
Med-CMR(Med-CMR)について述べる。 Med-CMRは既存のものと3つのコア機能で区別する。我々は,Med-CMRを用いた18種類の最先端MLLMを評価し,GPT-5を最高性能の商用モデルとして明らかにした。
論文参考訳（メタデータ） (2025-11-30T09:56:50Z)
TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models [54.48710348910535]
既存の医学推論ベンチマークは、主に1回の訪問からの画像に基づいて患者の状態を分析することに焦点を当てている。臨床訪問における患者の状態の変化を分析するための最初のベンチマークであるTemMed-Benchを紹介する。
論文参考訳（メタデータ） (2025-09-29T17:51:26Z)
EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文参考訳（メタデータ） (2025-09-24T14:09:55Z)
Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。 Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
論文参考訳（メタデータ） (2025-08-29T08:58:39Z)
MedAtlas: Evaluating LLMs for Multi-Round, Multi-Task Medical Reasoning Across Diverse Imaging Modalities and Clinical Text [25.102399692530245]
MedAtlasは、現実的な医学的推論タスクにおいて、大きな言語モデルを評価するための新しいベンチマークフレームワークである。 MedAtlasの特徴は、マルチターン・ダイアログ、マルチモーダル・メディカル・イメージ・インタラクション、マルチタスク統合、高臨床的忠実性である。それぞれの症例は、実際の診断から派生したもので、テキスト医療史とCT、MRI、PET、超音波、X線などの複数の画像モダリティの時間的相互作用を取り入れている。
論文参考訳（メタデータ） (2025-08-13T17:32:17Z)
MedBLINK: Probing Basic Perception in Multimodal Language Models for Medicine [12.333678882957377]
このような知覚能力に対してこれらのモデルを探索するためのベンチマークであるMedblinkを紹介する。メドブリンクは、複数の画像モダリティと解剖学的領域にまたがる8つの臨床的に有意義なタスクにまたがっており、1,605枚の画像に対して1,429個の多重選択質問を出している。ヒトのアノテータは96.4%の精度を達成しているが、最高のパフォーマンスモデルは65%にしか達していない。
論文参考訳（メタデータ） (2025-08-04T23:19:18Z)
3MDBench: Medical Multimodal Multi-agent Dialogue Benchmark [2.3011663397108078]
3MDBenchは、LVLM駆動の遠隔医療相談をシミュレートし評価するためのオープンソースのフレームワークである。内部推論によるマルチモーダル対話は、非対話設定よりもF1スコアが6.5%向上する。診断畳み込みニューラルネットワークからLVLMのコンテキストに予測を注入すると、F1は最大20%向上する。
論文参考訳（メタデータ） (2025-03-26T07:32:05Z)
AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文参考訳（メタデータ） (2024-02-15T06:46:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。