論文の概要: Beyond Classification Accuracy: Neural-MedBench and the Need for Deeper Reasoning Benchmarks

• arxiv url: http://arxiv.org/abs/2509.22258v1
• Date: Fri, 26 Sep 2025 12:20:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.413409
• Title: Beyond Classification Accuracy: Neural-MedBench and the Need for Deeper Reasoning Benchmarks
• Title（参考訳）: 分類精度を超えて:Neural-MedBenchとより深い推論ベンチマークの必要性
• Authors: Miao Jing, Mengting Jia, Junling Lin, Zhongxia Shen, Lijun Wang, Yuanyuan Peng, Huan Gao, Mingkun Xu, Shangyang Li,
• Abstract要約: 近年の視覚言語モデル (VLM) の進歩は, 標準医学ベンチマークにおいて顕著な性能を発揮しているが, その真の臨床推論能力は未だ不明である。 我々はニューラルメドベンチ(Neural-MedBench)について紹介する。これは、神経学におけるマルチモーダルな臨床推論の限界を調査するためのコンパクトで推論集約的なベンチマークである。
• 参考スコア（独自算出の注目度）: 21.203358914772465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in vision-language models (VLMs) have achieved remarkable performance on standard medical benchmarks, yet their true clinical reasoning ability remains unclear. Existing datasets predominantly emphasize classification accuracy, creating an evaluation illusion in which models appear proficient while still failing at high-stakes diagnostic reasoning. We introduce Neural-MedBench, a compact yet reasoning-intensive benchmark specifically designed to probe the limits of multimodal clinical reasoning in neurology. Neural-MedBench integrates multi-sequence MRI scans, structured electronic health records, and clinical notes, and encompasses three core task families: differential diagnosis, lesion recognition, and rationale generation. To ensure reliable evaluation, we develop a hybrid scoring pipeline that combines LLM-based graders, clinician validation, and semantic similarity metrics. Through systematic evaluation of state-of-the-art VLMs, including GPT-4o, Claude-4, and MedGemma, we observe a sharp performance drop compared to conventional datasets. Error analysis shows that reasoning failures, rather than perceptual errors, dominate model shortcomings. Our findings highlight the necessity of a Two-Axis Evaluation Framework: breadth-oriented large datasets for statistical generalization, and depth-oriented, compact benchmarks such as Neural-MedBench for reasoning fidelity. We release Neural-MedBench at https://neuromedbench.github.io/ as an open and extensible diagnostic testbed, which guides the expansion of future benchmarks and enables rigorous yet cost-effective assessment of clinically trustworthy AI.
• Abstract（参考訳）: 近年の視覚言語モデル (VLM) の進歩は, 標準医学ベンチマークにおいて顕著な性能を発揮しているが, その真の臨床推論能力は未だ不明である。 既存のデータセットは主に分類精度を強調しており、高い精度の診断推論に失敗しながら、モデルが熟達しているように見える評価錯覚を生み出している。 我々はニューラルメドベンチ(Neural-MedBench)を紹介した。ニューラルメドベンチ(Neural-MedBench)は、神経学におけるマルチモーダルな臨床推論の限界を調査するためのコンパクトで推論集約的なベンチマークである。 Neural-MedBenchは、マルチシーケンスMRIスキャン、構造化された電子健康記録、臨床ノートを統合し、差分診断、病変認識、合理的生成の3つのコアタスクファミリを含んでいる。 信頼性の高い評価を実現するため,LLMに基づく採点器,臨床検定,意味的類似度を併用したハイブリッドスコアリングパイプラインを開発した。 GPT-4o,Claude-4,MedGemmaなどの最先端VLMの系統的評価により,従来のデータセットと比較して高い性能低下が観察された。 エラー分析は、知覚的エラーではなく、推論失敗がモデルの欠点を支配していることを示している。 統計的一般化のための幅指向の大規模データセットと、忠実性の推論のためのNeural-MedBenchのような、奥行き指向のコンパクトなベンチマークである。 我々はNeural-MedBenchをオープンで拡張可能な診断テストベッドとしてhttps://neuromedbench.github.io/でリリースします。

関連論文リスト

• RAD: Towards Trustworthy Retrieval-Augmented Multi-modal Clinical Diagnosis [56.373297358647655]
  Retrieval-Augmented Diagnosis (RAD)は、下流タスクで直接マルチモーダルモデルに外部知識を注入する新しいフレームワークである。 RADは、複数の医療ソースからの疾患中心の知識の検索と改善、ガイドライン強化コントラスト損失トランスフォーマー、デュアルデコーダの3つの主要なメカニズムで機能する。
  論文  参考訳（メタデータ） (2025-09-24T10:36:14Z)
• Challenges in Deep Learning-Based Small Organ Segmentation: A Benchmarking Perspective for Medical Research with Limited Datasets [1.2648105980808475]
  本研究では,最先端のディープラーニングセグメンテーションモデルの体系的評価について検討する。 その結果, モデル性能はデータ分割に非常に敏感であり, 統計的ノイズによる差は, 真のアルゴリズム上の優越性よりも小さいことがわかった。
  論文  参考訳（メタデータ） (2025-09-07T01:54:20Z)
• Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
  Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。 Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。 厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
  論文  参考訳（メタデータ） (2025-08-29T08:58:39Z)
• Benchmarking and Explaining Deep Learning Cortical Lesion MRI Segmentation in Multiple Sclerosis [28.192924379673862]
  多発性硬化症(MS)における生体マーカーとしての皮質病変(CL)の出現 本稿では,MRIにおけるCL検出とセグメンテーションの総合ベンチマークを提案する。 医療画像のセグメンテーションのために設計された自己構成のnnU-Netフレームワークを利用し、CL検出の改善に適した適応を提案する。
  論文  参考訳（メタデータ） (2025-07-16T09:56:11Z)
• Uncertainty-Driven Expert Control: Enhancing the Reliability of Medical Vision-Language Models [52.2001050216955]
  既存の方法は、モデル構造を調整したり、高品質なデータで微調整したり、好みの微調整によって、医療ビジョン言語モデル(MedVLM)の性能を向上させることを目的としている。 我々は,MedVLMと臨床専門知識の連携を図るために,Expert-Controlled-Free Guidance (Expert-CFG) という,ループ内のエキスパート・イン・ザ・ループフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-12T09:03:30Z)
• NeuroMoE: A Transformer-Based Mixture-of-Experts Framework for Multi-Modal Neurological Disorder Classification [3.5313393560458826]
  Deep Learningは最近、診断を助けるために医療データから意味のあるパターンを抽出する強力なツールとして登場した。 神経疾患を分類するための新しいトランスフォーマーベースのMixture-of-Experts(MoE)フレームワークを提案する。 我々のフレームワークは82.47%の検証精度を達成し、ベースライン法を10%以上上回っている。
  論文  参考訳（メタデータ） (2025-06-17T20:40:06Z)
• REMEMBER: Retrieval-based Explainable Multimodal Evidence-guided Modeling for Brain Evaluation and Reasoning in Zero- and Few-shot Neurodegenerative Diagnosis [6.446611581074913]
  検索型マルチモーダル誘導型脳評価・推論モデルREMEMBERについて紹介する。 REMEMBERは、脳MRIスキャンを用いたゼロショットと少数ショットのアルツハイマーの診断を容易にする新しい機械学習フレームワークである。 実験結果から,REMEMBERはゼロショットと少数ショットの堅牢な性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-04-12T22:06:15Z)
• Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
  KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。 MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
  論文  参考訳（メタデータ） (2024-10-06T18:46:28Z)
• SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
  臨床知識を符号化するための言語モデル(LLM)が示されている。 6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。 ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network [54.332862955411656]
  臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。 近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。 本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
  論文  参考訳（メタデータ） (2023-07-19T12:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。