論文の概要: Towards Trustworthy Dermatology MLLMs: A Benchmark and Multimodal Evaluator for Diagnostic Narratives

• arxiv url: http://arxiv.org/abs/2511.09195v1
• Date: Thu, 13 Nov 2025 01:39:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.458158
• Title: Towards Trustworthy Dermatology MLLMs: A Benchmark and Multimodal Evaluator for Diagnostic Narratives
• Title（参考訳）: 信頼できる皮膚科MLLMに向けて:診断ナラティブのベンチマークとマルチモーダル評価
• Authors: Yuhao Shen, Jiahe Qian, Shuping Zhang, Zhangtianyi Chen, Tao Lu, Juexiao Zhou,
• Abstract要約: 我々はDermBenchを構築し、4000の現実世界の皮膚科のイメージと専門家認定診断の物語を組み合わせます。 個別のケースアセスメントでは、参照不要なマルチモーダル評価器であるDermEvalを訓練する。 4500件の実験では、DermBenchとDermEvalが専門家のレーティングと密接に一致していることが示されている。
• 参考スコア（独自算出の注目度）: 4.942511676972086
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal large language models (LLMs) are increasingly used to generate dermatology diagnostic narratives directly from images. However, reliable evaluation remains the primary bottleneck for responsible clinical deployment. We introduce a novel evaluation framework that combines DermBench, a meticulously curated benchmark, with DermEval, a robust automatic evaluator, to enable clinically meaningful, reproducible, and scalable assessment. We build DermBench, which pairs 4,000 real-world dermatology images with expert-certified diagnostic narratives and uses an LLM-based judge to score candidate narratives across clinically grounded dimensions, enabling consistent and comprehensive evaluation of multimodal models. For individual case assessment, we train DermEval, a reference-free multimodal evaluator. Given an image and a generated narrative, DermEval produces a structured critique along with an overall score and per-dimension ratings. This capability enables fine-grained, per-case analysis, which is critical for identifying model limitations and biases. Experiments on a diverse dataset of 4,500 cases demonstrate that DermBench and DermEval achieve close alignment with expert ratings, with mean deviations of 0.251 and 0.117 (out of 5), respectively, providing reliable measurement of diagnostic ability and trustworthiness across different multimodal LLMs.
• Abstract（参考訳）: マルチモーダル大言語モデル(LLM)は、画像から直接皮膚科診断の物語を生成するためにますます使われている。 しかし、信頼性評価は、責任ある臨床展開における主要なボトルネックである。 本稿では,厳密にキュレートされたベンチマークであるDermBenchと,堅牢な自動評価器であるDermEvalを組み合わせて,臨床的に有意義で再現性があり,スケーラブルな評価を可能にする新しい評価フレームワークを提案する。 我々はDermBenchを構築し、4000個の現実世界の皮膚科画像と専門家が認定した診断物語を組み合わせ、LLMベースの判断器を用いて臨床的根拠のある次元で予測された物語をスコアリングし、マルチモーダルモデルの一貫した総合的評価を可能にする。 個別のケースアセスメントでは、参照不要なマルチモーダル評価器であるDermEvalを訓練する。 イメージと生成された物語を与えられたダームエヴァルは、全体的なスコアと次元ごとのレーティングとともに構造化された批評を生成する。 この機能は、モデル制限とバイアスを特定するのに不可欠であるケースごとのきめ細かい分析を可能にする。 4500件の実験では、DermBenchとDermEvalがそれぞれ0.251件と0.117件(うち5件)の偏差で専門家のレーティングと密接に一致していることが示されている。

関連論文リスト

• Beyond Classification Accuracy: Neural-MedBench and the Need for Deeper Reasoning Benchmarks [21.203358914772465]
  近年の視覚言語モデル (VLM) の進歩は, 標準医学ベンチマークにおいて顕著な性能を発揮しているが, その真の臨床推論能力は未だ不明である。 我々はニューラルメドベンチ(Neural-MedBench)について紹介する。これは、神経学におけるマルチモーダルな臨床推論の限界を調査するためのコンパクトで推論集約的なベンチマークである。
  論文  参考訳（メタデータ） (2025-09-26T12:20:01Z)
• From Scores to Steps: Diagnosing and Improving LLM Performance in Evidence-Based Medical Calculations [45.414878840652115]
  大規模言語モデル(LLM)は医療ベンチマークで有望な性能を示した。 しかし、医学的な計算を行う能力は未熟であり、評価も不十分である。 本研究は,臨床信頼性を重視した医療計算評価を再考する。
  論文  参考訳（メタデータ） (2025-09-20T09:10:26Z)
• Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
  Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。 Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。 厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
  論文  参考訳（メタデータ） (2025-08-29T08:58:39Z)
• Benchmarking and Explaining Deep Learning Cortical Lesion MRI Segmentation in Multiple Sclerosis [28.192924379673862]
  多発性硬化症(MS)における生体マーカーとしての皮質病変(CL)の出現 本稿では,MRIにおけるCL検出とセグメンテーションの総合ベンチマークを提案する。 医療画像のセグメンテーションのために設計された自己構成のnnU-Netフレームワークを利用し、CL検出の改善に適した適応を提案する。
  論文  参考訳（メタデータ） (2025-07-16T09:56:11Z)
• LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation [58.25892575437433]
  医学における大規模言語モデル (LLMs) の評価は, 医療応用には精度が高く, 誤差の少ないため重要である。 LLMEval-Medは、5つの中核医療領域をカバーする新しいベンチマークであり、現実の電子健康記録から得られた2,996の質問と専門家が設計した臨床シナリオを含む。
  論文  参考訳（メタデータ） (2025-06-04T15:43:14Z)
• GEMA-Score: Granular Explainable Multi-Agent Scoring Framework for Radiology Report Evaluation [7.838068874909676]
  Granular Explainable Multi-Agent Score (GEMA-Score)は、大規模言語モデルに基づくマルチエージェントワークフローを通じて、客観的および主観的評価を行う。 GEMA-Scoreは、公開データセット上での人間の専門家評価と最も高い相関を達成している。
  論文  参考訳（メタデータ） (2025-03-07T11:42:22Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。