論文の概要: MIS-VQA: An Annotation-Driven Surgical Vision-Language Dataset for Complex Surgical Understanding
- arxiv url: http://arxiv.org/abs/2610.34210v1
- Date: Sun, 25 Oct 2026 10:56:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.558992
- Title: MIS-VQA: An Annotation-Driven Surgical Vision-Language Dataset for Complex Surgical Understanding
- Title（参考訳）: MIS-VQA : 複雑な手術理解のためのアノテーション駆動型手術ビジョンランゲージデータセット
- Abstract要約: アノテーション駆動パイプラインから生成された手術用視覚言語データセットMIS-VQAを紹介する。
MIS-VQAは、4つの応答型、簡潔で詳細な説明、知覚レベルの接地、多段階推論による階層的評価をサポートしている。
実験では、既存の外科的VQAベースラインよりも一貫した改善が見られ、知覚的接地と高レベルの推論の間の能力ギャップが明らかとなった。
- 参考スコア（独自算出の注目度）: 0.6926687872770024
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern surgical AI increasingly requires multimodal understanding rather than isolated perception, yet existing datasets remain largely limited to single-task supervision such as recognition or templated question answering. Current medical VQA resources often rely on synthetic templates, lack natural descriptive supervision, or provide sparse annotations that hinder reasoning about spatial relations and procedural context. We introduce MIS-VQA, a surgical vision-language dataset generated through an annotation-driven pipeline that converts heterogeneous surgical annotations into structured textual scene representations. Using EndoVis18 and CholecT50, we transform phase, instrument, interaction, triplet, and segmentation labels into unified contexts that guide large language models to generate clinically coherent question-answer pairs. MIS-VQA supports four response types-concise and detailed descriptions, perception-level grounding, and multi-step reasoning-enabling hierarchical evaluation from atomic visual grounding to compositional reasoning. To address annotation sparsity, we incorporate confidence-filtered segmentation and cross-annotation consistency checks, enabling spatially grounded supervision at scale. MIS-VQA establishes a unified benchmark for surgical vision-language understanding with spatial supervision and multi-tier reasoning evaluation. To demonstrate its utility, we introduce LLaVA-SurgXpert, a family of surgical vision-language models with visual encoders to analyze how visual representations influence multimodal reasoning. Experiments show consistent improvements over existing surgical VQA baselines while revealing capability gaps between perceptual grounding and higher-level reasoning hidden in prior benchmarks.
- Abstract（参考訳）: 現代の外科的AIは、孤立した知覚よりも多モーダルな理解を必要とすることが多いが、既存のデータセットは認識やテンプレート化された質問応答のようなシングルタスクの監督に限られている。
現在の医療用VQAリソースは、しばしば合成テンプレートに依存し、自然な記述的監督が欠如している。
異種外科的アノテーションを構造化されたテキストシーン表現に変換するアノテーション駆動パイプラインによって生成された手術用視覚言語データセットMIS-VQAを紹介する。
EndoVis18 と CholecT50 を用いて、我々は、位相、楽器、相互作用、三重項、セグメンテーションのラベルを統合されたコンテキストに変換し、大きな言語モデルで臨床的に一貫性のある質問応答ペアを生成する。
MIS-VQAは、4つの応答型と詳細な説明、知覚レベルのグラウンド化、および原子視覚的グラウンド化から構成的推論への多段階推論的階層化評価をサポートしている。
アノテーションの分散性に対処するために,信頼度フィルタによるセグメント化と相互アノテーションの整合性チェックを導入し,大規模に空間的な監督を可能にする。
MIS-VQAは、空間的監督と多層推論による手術的視覚言語理解のための統一的なベンチマークを確立する。
LLaVA-SurgXpertは視覚エンコーダを用いた手術用視覚言語モデルであり,視覚表現がマルチモーダル推論にどのように影響するかを解析する。
実験では、既存の外科的VQAベースラインよりも一貫した改善が見られ、従来のベンチマークに隠された知覚的接地と高レベルの推論の間の能力ギャップが明らかとなった。
関連論文リスト
- Object Tokens as a Bridge Between Segmentation and Visual Question Answering in Robotic Surgery [1.4146817306459933]
一つのフレームワーク内でピクセルレベルのセグメンテーションと視覚的質問応答を共同で行う統合フレームワークを提案する。
提案手法は,自家用RAMIE(Robot-Assisted Minimally Invasive Esophagectomy)データセットとEndoVis18データセットを用いて評価した。
その結果,視覚言語モデルにコンテキスト対応オブジェクトトークンを組み込むことで,よりきめ細かな手術シーンの理解が向上することが示唆された。
論文 参考訳（メタデータ） (2026-06-14T15:30:16Z) - RoboSurg-VQA: A Multimodal Benchmark for Surgical Segmentation-Aware Visual Question Answering [15.020056500396478]
セグメント認識型視覚質問応答(VQA)ベンチマークである textbfRoboSurg-VQA を提案する。
各フレームは、手順コンテキスト、解剖学(領域を含む)、画像のモダリティ/ビュー、外科的アーティファクト、画像品質、基本的な可視性および空間特性にまたがる固定された一連の臨床的動機付けられた質問とペアリングされる。
本報告では, 手術条件下でのベンチマーク統計, 衛生基準, 共通評価課題について報告する。
論文 参考訳（メタデータ） (2026-05-21T21:58:11Z) - S-Chain: Structured Visual Chain-of-Thought For Medicine [81.97605645734741]
S-Chainは,有界ボックスと構造化ビジュアルCoT(SV-CoT)を備えた,12,000のエキスパートアノテートされた医用画像の最初の大規模データセットである。
データセットはさらに16言語をサポートし、幅広い多言語適用性のための合計700万VQAペアをサポートする。
S-Chainは、根拠のある医療推論のための新しいベンチマークを確立し、より信頼性が高く説明可能な医療ビジョン言語モデルへの道を開く。
論文 参考訳（メタデータ） (2025-10-26T15:57:14Z) - Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。
本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。
SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
論文 参考訳（メタデータ） (2025-09-30T08:59:06Z) - Explain Before You Answer: A Survey on Compositional Visual Reasoning [74.27548620675748]
構成的視覚推論は、マルチモーダルAIにおける重要な研究フロンティアとして登場した。
本調査は,トップ会場(CVPR,ICCV,NeurIPS,ICML,ACLなど)から260以上の論文を体系的にレビューする。
次に60以上のベンチマークとそれに対応するメトリクスを、基底精度、連鎖忠実性、高分解能知覚などの次元に沿って探索する。
論文 参考訳（メタデータ） (2025-08-24T11:01:51Z) - SurgRAW: Multi-Agent Workflow with Chain-of-Thought Reasoning for Surgical Intelligence [16.584722724845182]
手術インテリジェンスにおける視覚-言語モデルの統合は、幻覚、ドメイン知識のギャップ、タスク相互依存性の限定的な理解によって妨げられている。
本稿では,CoT駆動型マルチエージェントフレームワークであるSurgRAWについて紹介する。
論文 参考訳（メタデータ） (2025-03-13T11:23:13Z) - Leveraging Retrieval-Augmented Tags for Large Vision-Language Understanding in Complex Scenes [0.0]
Vision-Aware Retrieval-Augmented Prompting (VRAP)は、大規模ビジョンランゲージモデルを強化するジェネレーティブアプローチである。
VRAPは、微細な推論とマルチモーダル理解において最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-12-16T02:52:19Z) - CL-HOI: Cross-Level Human-Object Interaction Distillation from Vision Large Language Models [10.62320998365966]
視覚言語モデル(VLLM)は、本質的には画像レベルでの相互作用を認識・推論できるが、計算的に重く、インスタンスレベルのHOI検出には設計されていない。
手動のアノテーションを必要とせずに,VLLMのイメージレベルの理解からインスタンスレベルのHOIを蒸留するクロスレベルHOI蒸留(CL-HOI)フレームワークを提案する。
本手法は,視覚情報から言語情報への変換を行う文脈蒸留と,対話認知ネットワーク(ICN)が空間的,視覚的,文脈的関係を推論する相互作用蒸留の2段階を含む。
論文 参考訳（メタデータ） (2024-10-21T05:51:51Z) - Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。
VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。
本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-29T23:19:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。