Fugu-MT 論文翻訳(概要): Can Multimodal Large Language Models Understand OCT?

論文の概要: Can Multimodal Large Language Models Understand OCT?

arxiv url: http://arxiv.org/abs/2607.16609v1
Date: Sat, 18 Jul 2026 03:08:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-21 18:48:37.195171
Title: Can Multimodal Large Language Models Understand OCT?
Title（参考訳）: マルチモーダル大言語モデルはOCTに耐えられるか?
Abstract要約: マルチモーダル大言語モデル (MLLM) は, 医用画像解析において有意な可能性を証明している。 OCT-Benchは、7つの公開データセットにわたる4,137のOCT画像から構築された10,076の高品質な多重選択質問からなる。我々は,プロプライエタリモデル,オープンソース汎用モデル,医療ドメインモデルを含む20の代表的なMLLMを体系的に評価する。
参考スコア（独自算出の注目度）: 3.932595394031011
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Optical coherence tomography (OCT) imaging is essential for the diagnosis and treatment of retinal diseases. Although multimodal large language models (MLLMs) have demonstrated considerable potential in medical image analysis, existing benchmarks largely reduce OCT understanding to coarse-grained disease classification or isolated visual question answering, leaving the complete cognitive process from visual perception to clinical reasoning insufficiently evaluated. To address this limitation, we introduce OCT-Bench, a comprehensive benchmark dedicated to OCT image understanding. OCT-Bench comprises 10,076 high-quality multiple-choice questions constructed from 4,137 OCT images across seven public datasets. Following the real-world clinical interpretation workflow, we establish a hierarchical capability taxonomy consisting of 20 fine-grained tasks across three dimensions: Perception, Cognition, and Reasoning. These tasks cover a broad range of capabilities, including imaging attributes, retinal anatomy, lesion characteristics, spatial relationships, disease assessment, therapeutic decision-making, and prognostic management. We systematically evaluate 20 representative MLLMs, including proprietary models, open-source general-purpose models, and medical-domain models. Experimental results demonstrate that current models remain substantially short of reliable OCT understanding. Moreover, neither medical-domain adaptation nor increased model scale consistently improves performance across capability levels. OCT-Bench enables comprehensive and fine-grained evaluation of MLLMs, providing a foundation for identifying capability bottlenecks and advancing clinically grounded OCT understanding.
Abstract（参考訳）: 光コヒーレンス断層撮影(OCT)は網膜疾患の診断と治療に不可欠である。 MLLM(Multimodal large language model)は、医学的画像解析においてかなりの可能性を示しているが、既存のベンチマークでは、OCTの理解を粗大な疾患分類や孤立した視覚的質問応答へと大幅に減らし、完全な認知過程を視覚的知覚から臨床的推論まで、十分に評価されていない。この制限に対処するために、OCTイメージ理解専用の総合ベンチマークであるOCT-Benchを紹介する。 OCT-Benchは、7つの公開データセットにわたる4,137のOCT画像から構築された10,076の高品質な多重選択質問からなる。実世界の臨床解釈のワークフローに従って、認識、認知、推論の3次元にわたる20のきめ細かいタスクからなる階層的な機能分類を確立する。これらのタスクは、イメージング特性、網膜解剖、病変の特徴、空間的関係、疾患評価、治療的意思決定、予後管理など、幅広い機能をカバーする。我々は,プロプライエタリモデル,オープンソース汎用モデル,医療ドメインモデルを含む20の代表的なMLLMを体系的に評価する。実験結果から、現在のモデルでは信頼性の高いOCT理解がほとんど得られていないことが明らかとなった。さらに、医療領域適応やモデルスケールの増大は、能力レベルを越えたパフォーマンスを一貫して向上させません。 OCT-BenchはMLLMの包括的かつきめ細かな評価を可能にし、能力ボトルネックを特定し、臨床基礎となるOCT理解を促進する基盤を提供する。

関連論文リスト

Concept-Grounded Reasoning with Prompt-Driven Localization for Interpretable Structured Report Generation [66.62662330558906]
CORALは、空間的接地と概念レベルの監督を統一的な推論プロセスに統合するマルチモーダルフレームワークである。コーラルは、疾患の局所化とコンセプション・ボトルネックモジュールによる多クラス臨床属性の予測のために、プロンプト駆動型医療セグメンテーションモデルを採用している。 BUS-CoTとIU X線データセットの実験では、診断精度、概念整合性、報告品質が強力な汎用および医療MLLMよりも一貫した改善が示されている。
論文参考訳（メタデータ） (2026-09-14T10:21:23Z)
Explainable Multimodal Deep Learning Integrating Imaging and Clinical Data for Oral Potentially Malignant Disorder Detection [14.652837775821794]
M2-OPMDNetは、OPMD検出のための構造化された臨床情報と白色光と自己蛍光の口腔内画像を統合する。臨床に関連のあるリスクファクターと症状を捉えるために、カスタマイズされたアンケートが設計された。 M2-OPMDNetは0.952のAUCを達成した。
論文参考訳（メタデータ） (2026-09-03T22:01:00Z)
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding [67.57715989349471]
MLLM(Multimodal large language model)は、臨床実践に革命をもたらす大きな可能性を秘めている。我々は、総合的な医学的理解のために設計された視覚中心のMLLMであるClinFusionを紹介する。 ClinFusionは、総合的な2Dおよび3Dマルチモーダル・メディカル・ベンチマーク・スイートにまたがって、最先端の新たな状態を設定する。
論文参考訳（メタデータ） (2026-07-27T17:59:49Z)
MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
論文参考訳（メタデータ） (2026-06-04T20:24:47Z)
Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs [63.535652574541764]
MLLM(Multimodal Large Language Models)は医用画像解析において顕著な可能性を示した。消化器内視鏡におけるそれらの応用は、現在、2つの重要な限界によって妨げられている。本稿では,これらの課題に対処する新しい臨床認知アライメント(CogAlign)フレームワークを提案する。
論文参考訳（メタデータ） (2026-03-21T07:47:37Z)
OmniCT: Towards a Unified Slice-Volume LVLM for Comprehensive CT Analysis [53.01523944168442]
臨床解釈はスライス駆動の局所特徴と体積駆動の空間表現の両方に依存している。既存のLVLM(Large Vision-Language Models)は、CTスライスとボリューム理解で断片化されている。我々は,CTシナリオのための強力な統合スライスボリュームLVLMであるOmniCTを提案する。
論文参考訳（メタデータ） (2026-02-18T00:42:41Z)
A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis [82.01597026329158]
本稿では,組織合成のための相関調整フレームワーク(CRAFTS)について紹介する。 CRAFTSは、生物学的精度を確保するためにセマンティックドリフトを抑制する新しいアライメント機構を組み込んでいる。本モデルは,30種類の癌にまたがる多彩な病理像を生成する。
論文参考訳（メタデータ） (2025-12-15T10:22:43Z)
Rethinking Whole-Body CT Image Interpretation: An Abnormality-Centric Approach [57.86418347491272]
全身に404例の異常所見を呈する包括的階層分類システムを提案する。複数平面および全人体領域からの14.5K以上のCT画像を含むデータセットを寄贈し,19K以上の異常に対する接地アノテーションを念頭に提供した。 OminiAbnorm-CTは,テキストクエリに基づいて,多面的および全身的なCT画像に異常な所見を自動的に検出し,記述することができる。
論文参考訳（メタデータ） (2025-06-03T17:57:34Z)
Leveraging Vision-Language Embeddings for Zero-Shot Learning in Histopathology Images [7.048241543461529]
ゼロショット組織像分類におけるこれらの課題に対処するため, MR-PHE(Multi-Resolution Prompt-Guided Hybrid Embedding)と呼ばれる新しいフレームワークを提案する。我々は,グローバルな画像埋め込みと重み付けされたパッチ埋め込みを統合したハイブリッドな埋め込み戦略を導入する。類似性に基づくパッチ重み付け機構は、クラス埋め込みとの関連性に基づいて、アテンションのような重み付けをパッチに割り当てる。
論文参考訳（メタデータ） (2025-03-13T12:18:37Z)
A Novel Ophthalmic Benchmark for Evaluating Multimodal Large Language Models with Fundus Photographs and OCT Images [11.761590928900358]
眼科領域では,光学コヒーレンス・トモグラフィー(OCT)の報告を解析するために,大言語モデル(MLLM)が研究されている。データセットは439基の画像と75基のOCT画像からなる。標準化されたAPIベースのフレームワークを用いて、7つの主流MLLMを評価し、異なる疾患の診断精度に有意なばらつきが認められた。
論文参考訳（メタデータ） (2025-03-10T09:19:55Z)
Large-scale and Fine-grained Vision-language Pre-training for Enhanced CT Image Understanding [17.783231335173486]
解剖学的CT画像解釈のための細粒度視覚言語モデル(fVLM)を提案する。しかし、微粒なアライメントは、かなり偽陰性な課題に直面している。今回,69,086例のCT画像と報告データをもとに,これまでで最大のCTデータセットを収集した。
論文参考訳（メタデータ） (2025-01-24T14:50:48Z)
A multi-modal vision-language model for generalizable annotation-free pathology localization [38.22221410663355]
臨床画像データから病理を定義するための既存のディープラーニングモデルは、専門家のアノテーションに頼り、オープンな臨床環境での能力を欠いている。本稿では,AFLOC(Generalization-Free pathology Localization)のための一般化可能な視覚言語モデルを提案する。 AFLOCの中核的な強みは、多段階のセマンティック構造に基づくコントラスト学習であり、医用概念と豊富な画像特徴を整合させ、専門的な画像アノテーションに頼らずに、様々な病態の表現に適応する。
論文参考訳（メタデータ） (2024-01-04T03:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。