論文の概要: GI-Bench: A Panoramic Benchmark Revealing the Knowledge-Experience Dissociation of Multimodal Large Language Models in Gastrointestinal Endoscopy Against Clinical Standards

• arxiv url: http://arxiv.org/abs/2601.08183v1
• Date: Tue, 13 Jan 2026 03:23:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:19.044828
• Title: GI-Bench: A Panoramic Benchmark Revealing the Knowledge-Experience Dissociation of Multimodal Large Language Models in Gastrointestinal Endoscopy Against Clinical Standards
• Title（参考訳）: 消化管内視鏡検査における多モード大言語モデルの知識・経験的解離に関するパノラマベンチマーク
• Authors: Yan Zhu, Te Luo, Pei-Yao Fu, Zhen Zhang, Zi-Long Wang, Yi-Fan Qu, Zi-Han Geng, Jia-Qi Xu, Lu Yao, Li-Yun Ma, Wei Su, Wei-Feng Chen, Quan-Lin Li, Shuo Wang, Ping-Hong Zhou,
• Abstract要約: 我々は,パノラマ性消化管内視鏡のワークフローにおけるMLLM(Multimodal Large Language Models)の評価を行った。 細粒度病変を20種類含むGI-Benchを作成した。 モデルでは、人間に比べて言語的可読性に優れたレポートを生成する。
• 参考スコア（独自算出の注目度）: 17.453089229230663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) show promise in gastroenterology, yet their performance against comprehensive clinical workflows and human benchmarks remains unverified. To systematically evaluate state-of-the-art MLLMs across a panoramic gastrointestinal endoscopy workflow and determine their clinical utility compared with human endoscopists. We constructed GI-Bench, a benchmark encompassing 20 fine-grained lesion categories. Twelve MLLMs were evaluated across a five-stage clinical workflow: anatomical localization, lesion identification, diagnosis, findings description, and management. Model performance was benchmarked against three junior endoscopists and three residency trainees using Macro-F1, mean Intersection-over-Union (mIoU), and multi-dimensional Likert scale. Gemini-3-Pro achieved state-of-the-art performance. In diagnostic reasoning, top-tier models (Macro-F1 0.641) outperformed trainees (0.492) and rivaled junior endoscopists (0.727; p>0.05). However, a critical "spatial grounding bottleneck" persisted; human lesion localization (mIoU >0.506) significantly outperformed the best model (0.345; p<0.05). Furthermore, qualitative analysis revealed a "fluency-accuracy paradox": models generated reports with superior linguistic readability compared with humans (p<0.05) but exhibited significantly lower factual correctness (p<0.05) due to "over-interpretation" and hallucination of visual features.GI-Bench maintains a dynamic leaderboard that tracks the evolving performance of MLLMs in clinical endoscopy. The current rankings and benchmark results are available at https://roterdl.github.io/GIBench/.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は胃腸炎学において有望であるが、包括的な臨床ワークフローやヒトのベンチマークに対する性能は検証されていない。 パノラマ消化管内視鏡ワークフロー全体にわたって最先端のMLLMを体系的に評価し、ヒトの内視鏡医と比較してその臨床的有用性を決定する。 細粒度病変を20種類含むGI-Benchを作成した。 解剖学的局在,病変の同定,診断,所見記述,管理の5段階の臨床ワークフローにおいて,12種類のMLLMが評価された。 モデル性能は,Macro-F1,Intersection-over-Union(mIoU),Multi-dimensional Likert Scaleを用いて,中年者3名,常在者3名に対してベンチマークした。 Gemini-3-Proは最先端の性能を達成した。 診断的理由づけでは,上位モデル (Macro-F1 0.641) は訓練者 (0.492) を上回っ, 若年者 (0.727; p>0.05) と競合した。 しかし、重要な「空間接地ボトルネック」が持続し、ヒトの病変の局在(mIoU >0.506)は0.345; p<0.05。 さらに、質的分析により「周波数精度パラドックス」が明らかとなった:ヒトと比較して優れた言語的可読性を持つモデル(p<0.05)を生成するが、「過剰解釈」と視覚的特徴の幻覚による事実的正確性(p<0.05)が著しく低下した。GI-Benchは、臨床内視鏡におけるMLLMの進化的パフォーマンスを追跡する動的リーダーボードを維持している。 現在のランキングとベンチマーク結果はhttps://roterdl.github.io/GIBench/で公開されている。

関連論文リスト

• DermoGPT: Open Weights and Open Data for Morphology-Grounded Dermatological Reasoning MLLMs [54.8829900010621]
  MLLM (Multimodal Large Language Models) は、医学的応用を約束するが、限られたトレーニングデータ、狭いタスクカバレッジ、臨床現場での監督の欠如により、皮膚科の遅れが進行する。 これらのギャップに対処するための包括的なフレームワークを提示します。 まず,211,243のイメージと72,675のトラジェクトリを5つのタスク形式に分けた大規模形態素解析コーパスであるDermo Instructを紹介する。 第二にDermoBenchは、4つの臨床軸(形態学、診断、推論、フェアネス)にまたがる11のタスクを評価する厳密なベンチマークで、3600の挑戦的なサブセットを含む。
  論文  参考訳（メタデータ） (2026-01-05T07:55:36Z)
• Automated Identification of Incidentalomas Requiring Follow-Up: A Multi-Anatomy Evaluation of LLM-Based and Supervised Approaches [5.958100741754613]
  インシデントアロマの微細な病変レベル検出のために,大規模言語モデル(LLM)を教師付きベースラインと比較した。 そこで我々は,病変タグ付き入力と解剖学的認識を用いた新しい推論手法を導入し,基礎モデル推論を推し進めた。 解剖学的インフォームドGPT-OSS-20bモデルが最も高い性能を示し, 奇形腫陽性マクロF1の0.79。
  論文  参考訳（メタデータ） (2025-12-05T08:49:57Z)
• Evaluating Large Language Models for Multimodal Simulated Ophthalmic Decision-Making in Diabetic Retinopathy and Glaucoma Screening [37.69303106863453]
  大規模言語モデル(LLM)は、自然言語のプロンプトに基づいて臨床推論をシミュレートすることができるが、眼科におけるそれらの有用性はほとんど解明されていない。 本研究は,GPT-4による網膜底写真の構造的記述の解釈能力について検討した。 300点の注釈付き眼底画像を用いた振り返り診断検査を行った。
  論文  参考訳（メタデータ） (2025-07-02T01:35:59Z)
• EndoBench: A Comprehensive Evaluation of Multi-Modal Large Language Models for Endoscopy Analysis [62.00431604976949]
  EndoBenchは、内視鏡的プラクティスの全スペクトルにわたるMLLMを評価するために特別に設計された最初の包括的なベンチマークである。 我々は、汎用、医療特化、プロプライエタリMLLMを含む23の最先端モデルをベンチマークする。 私たちの実験では、プロプライエタリなMLLMは、オープンソースや医療専門のモデルよりも優れていますが、それでも人間の専門家を追い越しています。
  論文  参考訳（メタデータ） (2025-05-29T16:14:34Z)
• MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks [47.486705282473984]
  大規模言語モデル(LLM)は、医学試験においてほぼ完璧なスコアを得る。 これらの評価は、実際の臨床実践の複雑さと多様性を不十分に反映している。 MedHELMは,医療業務におけるLCMの性能を評価するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-05-26T22:55:49Z)
• Predicting Length of Stay in Neurological ICU Patients Using Classical Machine Learning and Neural Network Models: A Benchmark Study on MIMIC-IV [49.1574468325115]
  本研究は、MIMIC-IVデータセットに基づく神経疾患患者を対象とした、ICUにおけるLOS予測のための複数のMLアプローチについて検討する。 評価されたモデルには、古典的MLアルゴリズム(K-Nearest Neighbors、Random Forest、XGBoost、CatBoost)とニューラルネットワーク(LSTM、BERT、テンポラルフュージョントランス)が含まれる。
  論文  参考訳（メタデータ） (2025-05-23T14:06:42Z)
• Zero-Shot Multi-modal Large Language Model v.s. Supervised Deep Learning: A Comparative Study on CT-Based Intracranial Hemorrhage Subtyping [13.726496817874152]
  非造影CTによる頭蓋内出血(ICH)のタイムリー同定は予後予測と治療的判断に重要である。 本研究は、ICHバイナリ分類およびサブタイプにおける従来のディープラーニング手法と比較して、ゼロショットマルチモーダル大言語モデル(MLLM)の性能を評価する。
  論文  参考訳（メタデータ） (2025-05-14T09:54:46Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。