論文の概要: A Visual Grounding Benchmark for Retinal OCT with Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2610.31205v1
• Date: Thu, 22 Oct 2026 12:54:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.378808
• Title: A Visual Grounding Benchmark for Retinal OCT with Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルを用いた網膜OCTの視覚的グラウンド化ベンチマーク
• Abstract要約: RetinaBenchは、網膜光コヒーレンストモグラフィーにおけるバイオマーカー視覚接地のための最初のベンチマークである。 眼科医によって徹底的に注釈付けされた815個のBスキャンと、8つの疾患にまたがる13のバイオマーカーをカバーする4,537個のバウンディングボックスからなる。 27のオープンソースMLLM(0.8-38Bパラメータ)のうち、視覚的接地は未解決のままである。
• 参考スコア（独自算出の注目度）: 2.000261414147809
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) can answer clinical questions about medical images, but trustworthy use requires visual grounding: models should localize the pathology they report rather than rely on spurious shortcuts. Whether MLLMs can visually ground clinical findings in retinal optical coherence tomography (OCT), the most widely used imaging modality in ophthalmology, remains largely unexplored. To address this gap, we introduce RetinaGroundBench, the first benchmark for biomarker visual grounding in retinal OCT. It comprises 815 B-scans exhaustively annotated by ophthalmologists with 4,537 bounding boxes covering 13 biomarkers across 8 diseases. Because MLLMs often fragment a single lesion into multiple partial predictions, we propose AggIoU, a metric that evaluates whether the union of overlapping predicted boxes covers the annotated region. Across 27 open-source MLLMs (0.8-38B parameters), we find that visual grounding remains largely unsolved: the best general-purpose model achieves a macro F1 of just 23.7%, with consistently low recall, despite reaching up to 73% balanced accuracy on biomarker presence questions. To narrow this gap, we developed RetGrounder, an MLLM fine-tuned using an OCT-specific strategy integrating grounding and textual information. Despite its relatively small size (8B), RetGrounder improves grounding F1 to 33.9%, a 43% relative improvement. Our benchmark provides a reference point for measuring progress in the field of OCT diagnosis with MLLMs.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、医療画像に関する臨床的疑問に答えることができるが、信頼できる使用には視覚的根拠が必要である。 眼科における最も広く用いられている画像モダリティである網膜光コヒーレンス断層撮影(OCT)では,MLLMが臨床像を視認できるか否かは明らかにされていない。 このギャップに対処するために、網膜OCTにおけるバイオマーカーの視覚的グラウンドディングのための最初のベンチマークであるRetinaGroundBenchを紹介する。 眼科医によって徹底的に注釈付けされた815個のBスキャンと、8つの疾患にまたがる13のバイオマーカーをカバーする4,537個のバウンディングボックスからなる。 MLLMは単一病変を複数の部分的予測に断片化することが多いため、重なり合う予測ボックスの結合が注釈付き領域をカバーするかどうかを評価する指標であるAggIoUを提案する。 27のオープンソースMLLM(0.8-38Bパラメータ)のうち、視覚的な基盤は未解決のままであり、最高の汎用モデルは23.7%しかマクロF1を達成していない。 このギャップを狭めるために、OCT固有の戦略を用いて微調整されたMLLMであるRetGrounderを開発した。 比較的小さい (8B) にもかかわらず、RetGrounder は F1 の接地率を 33.9% に改善し、相対的に 43% 改善した。 MLLMを用いた OCT 診断の進歩の基準点について検討した。

関連論文リスト

• Representation-guided in-context learning for medical image interpretation with multimodal large language models [51.36834689637422]
  表現誘導型インコンテキスト学習(RG-ICL)は、凍結エンコーダを用いてクエリアラインなデモを検索する。 RG-ICLは、非文脈や従来のICLよりも分類(平均20ポイント)と視覚的質問応答(VQA)を改善した。
  論文  参考訳（メタデータ） (2026-09-21T03:34:38Z)
• MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
  ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。 本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。 今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
  論文  参考訳（メタデータ） (2026-06-04T20:24:47Z)
• Towards Clinically Interpretable Ophthalmic VQA via Spatially-Grounded Lesion Evidence [51.57735743553791]
  今回我々はFundusGroundを紹介した。これは臨床的に解釈可能な眼科用VQAの空間的根拠を用いた新しいベンチマークである。 この構造された病変の証拠に基づいて、72,706の質問が4つのフォーマットにまたがって生成される。 実験により、病変レベルの視覚的エビデンスを組み込むことで、モデルの性能と透明性が一貫して向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T12:37:03Z)
• VOLMO: Versatile and Open Large Models for Ophthalmology [9.602280403530182]
  眼科医は、臨床画像、構造化された臨床データ、および疾患の重症度と管理を判定するためのフリーテキストノートを統合する必要がある。 近年のマルチモーダル大言語モデル (MLLM) は, 将来性を示すが, 既存の一般医療MLLMは眼科では不十分である。 本稿では,眼科固有のMLLMを開発するためのモデルに依存しない,データオープンなフレームワークであるVOLMOを提案する。
  論文  参考訳（メタデータ） (2026-03-25T05:25:10Z)
• LUMINA: A Multi-Vendor Mammography Benchmark with Energy Harmonization Protocol [9.075009508165273]
  このデータセットは、病理診断されたラベル、BI-RADSアセスメント、乳腺密度アノテーションを持つ468人の患者の1824枚の画像を含んでいる。 LUMINAは6つの取得システムにまたがっており、高エネルギーと低エネルギーの撮像方式がある。 我々は,診断,BI-RADS分類,密度推定の3つの臨床的課題について,CNNとトランスフォーマーモデルをベンチマークした。
  論文  参考訳（メタデータ） (2026-03-15T22:41:40Z)
• MDF-MLLM: Deep Fusion Through Cross-Modal Feature Alignment for Contextually Aware Fundoscopic Image Classification [0.32622301272834514]
  既存のマルチモーダル大言語モデル(MLLM)は網膜疾患の診断に不可欠な低レベルの空間的詳細を捉えるのに苦労することが多い。 このモデル開発と検証は、3つの公開データセットからコンパイルされた1,305個の画像テキストペアに対して行われた。 MDF-MLLMは、4つのU-Net層エンコーダからLLaMA 3.2 11B MLLM内のクロスアテンションブロックへのスキップ機能を統合する。
  論文  参考訳（メタデータ） (2025-09-21T05:46:35Z)
• Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.5549882883963]
  6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。 グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。 当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
  論文  参考訳（メタデータ） (2022-04-22T17:27:00Z)
• WSSS4LUAD: Grand Challenge on Weakly-supervised Tissue Semantic Segmentation for Lung Adenocarcinoma [51.50991881342181]
  この課題には10,091個のパッチレベルのアノテーションと1300万以上のラベル付きピクセルが含まれる。 第一位チームは0.8413mIoUを達成した(腫瘍:0.8389、ストーマ:0.7931、正常:0.8919)。
  論文  参考訳（メタデータ） (2022-04-13T15:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。