論文の概要: SurgEye: Instruction Tuning-Free Perception-Reasoning Framework for Surgical Scene Understanding

• arxiv url: http://arxiv.org/abs/2611.04012v1
• Date: Mon, 02 Nov 2026 21:53:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 02:40:01.233079
• Title: SurgEye: Instruction Tuning-Free Perception-Reasoning Framework for Surgical Scene Understanding
• Title（参考訳）: SurgEye: 外科的シーン理解のためのインストラクションチューニングなし知覚推論フレームワーク
• Abstract要約: SurgEyeは、インストラクションチューニングなしでビジョンファウンデーションモデルで推論を基礎とする知覚推論フレームワークである。 Agentic Compositional Reasoning (ACR)は、RMPスペシャリストと時間記憶をコール可能なツールとして調整するために、凍結した大きな言語モデルを使用している。 SurgEye-Benchは8つの手術手順にまたがって構築され,各質問を認識ラベルと組み合わせて評価する。
• 参考スコア（独自算出の注目度）: 11.999006743900095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Surgical scene understanding is pivotal for computer-assisted intervention, yet demands compositional reasoning across instruments, anatomy, and workflow. Existing surgical vision-language models rely on instruction tuning with large-scale question-answer pairs, entailing laborious data curation and costly retraining. To bridge this gap, we propose SurgEye, a perception-reasoning framework that grounds reasoning in a vision foundation model without instruction tuning. Specifically, we devise Routed Multi-Task Perception (RMP) that routes the vision foundation model through task-specific pathways learned from public perception labels, producing spatial and temporal evidence. We further introduce Agentic Compositional Reasoning (ACR) that employs a frozen large language model to coordinate RMP specialists and temporal memory as callable tools, composing evidence across tasks and time into grounded answers. Moreover, we construct SurgEye-Bench spanning eight surgical procedures, pairing each question with perception labels for verifiable evaluation. Extensive experiments demonstrate that SurgEye outperforms state-of-the-arts in surgical reasoning. The source code will be available.
• Abstract（参考訳）: 手術シーンの理解は、コンピュータ支援の介入において重要であるが、楽器、解剖学、ワークフローにまたがる構成的推論を要求する。 既存の手術用視覚言語モデルは、大規模な問合せペアによる指導のチューニングに頼っており、面倒なデータキュレーションとコストのかかる再訓練が必要とされる。 このギャップを埋めるために,教師のチューニングなしに視覚基盤モデルに推論を基礎付ける知覚推論フレームワークであるSurgEyeを提案する。 具体的には、公共の認識ラベルから学習したタスク固有の経路を通して視覚基盤モデルをルーティングし、空間的および時間的証拠を生成する経路をRMP(Routed Multi-Task Perception)として考案する。 さらに,RMPスペシャリストや時間記憶をコール可能なツールとしてコーディネートし,タスクや時間にまたがるエビデンスを構成するために,凍結した大言語モデルを用いたエージェント合成推論(ACR)を導入する。 さらに,SurgEye-Benchを8つの手術手順にまたがって構築し,各質問を認識ラベルと組み合わせて評価する。 大規模な実験により、SurgEyeは外科的推論において最先端の成績を発揮することが示された。 ソースコードは利用可能になる。

関連論文リスト

• RoboSurg-VQA: A Multimodal Benchmark for Surgical Segmentation-Aware Visual Question Answering [15.020056500396478]
  セグメント認識型視覚質問応答(VQA)ベンチマークである textbfRoboSurg-VQA を提案する。 各フレームは、手順コンテキスト、解剖学(領域を含む)、画像のモダリティ/ビュー、外科的アーティファクト、画像品質、基本的な可視性および空間特性にまたがる固定された一連の臨床的動機付けられた質問とペアリングされる。 本報告では, 手術条件下でのベンチマーク統計, 衛生基準, 共通評価課題について報告する。
  論文  参考訳（メタデータ） (2026-05-21T21:58:11Z)
• SurgLLM: A Versatile Large Multimodal Model with Spatial Focus and Temporal Awareness for Surgical Video Understanding [75.00667948967848]
  SurgLLMフレームワークは、多用途の手術ビデオ理解タスクに適した、大規模なマルチモーダルモデルである。 外科的ビデオの空間的焦点を高めるために,SurgLLMの動画エンコーダのためのSurg-Pretraining(Surg-Pretraining)を最初に考案した。 外科的時間的知識をSurgLLMに組み込むため, インターリーブ型マルチモーダル埋め込みによる時間的推論を改善するために, 時間的対応型マルチモーダルチューニング(TM-Tuning)を提案する。
  論文  参考訳（メタデータ） (2025-08-30T04:36:41Z)
• Surgeons vs. Computer Vision: A comparative analysis on surgical phase recognition capabilities [65.66373425605278]
  自動手術相認識(SPR)は、人工知能(AI)を使用して、手術ワークフローをその重要なイベントに分割する。 従来の研究は、短い外科手術と直線的な外科手術に焦点を合わせており、時間的文脈が手術の段階をよりよく分類する専門家の能力に影響を与えるかどうかを探索していない。 本研究は,ロボットによる部分腎切除(RAPN)を高度に非直線的に行うことに焦点を当て,これらのギャップに対処する。
  論文  参考訳（メタデータ） (2025-04-26T15:37:22Z)
• Can DeepSeek Reason Like a Surgeon? An Empirical Evaluation for Vision-Language Understanding in Robotic-Assisted Surgery [17.728772280544444]
  ロボット手術シナリオにおけるDeepSeekモデルの対話機能について検討する。 実験により,DeepSeek-VL2は,既存の汎用多目的大言語モデルと比較して,複雑な理解タスクにおいて優れた性能を発揮することが示された。 DeepSeek-V3は純粋に言語モデルであるが,画像トークンを直接入力すると,単一文QAタスクのパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2025-03-29T15:48:46Z)
• SurgRAW: Multi-Agent Workflow with Chain-of-Thought Reasoning for Surgical Intelligence [16.584722724845182]
  手術インテリジェンスにおける視覚-言語モデルの統合は、幻覚、ドメイン知識のギャップ、タスク相互依存性の限定的な理解によって妨げられている。 本稿では,CoT駆動型マルチエージェントフレームワークであるSurgRAWについて紹介する。
  論文  参考訳（メタデータ） (2025-03-13T11:23:13Z)
• EndoChat: Grounded Multimodal Large Language Model for Endoscopic Surgery [52.992415247012296]
  手術シーン理解における対話のパラダイムやサブタスクに対処するために,EndoChatを導入する。 本モデルは,5つの対話パラダイムと8つの手術シーン理解タスクにまたがって,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-01-20T09:12:06Z)
• Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
  手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。 本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-30T22:21:05Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• CAT-ViL: Co-Attention Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery [14.52406034300867]
  手術用視覚質問定位回答システム(VQLA)は、医療学生やジュニア外科医が記録された手術ビデオから学び、理解するのに役立ちます。 手術シナリオにおけるVQLAに対するCAT-ViL(Co-Attention gaTed Vision-Language)を組み込んだエンドツーエンドトランスフォーマを提案する。 提案手法は,外科的シーン理解のための有望なソリューションを提供し,外科的訓練のための人工知能(AI)ベースのVQLAシステムにおける第一歩を開拓する。
  論文  参考訳（メタデータ） (2023-07-11T11:35:40Z)
• Surgical-VQLA: Transformer with Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery [18.248882845789353]
  本研究では,ロボット支援型手術シーンと記録映像からのアクティビティ理解を容易にするための手術質問応答システムを開発した。 既存のVQA手法の多くは、視覚的特徴を抽出し、答え生成のための質問の埋め込みテキストと融合するために、オブジェクト検出器と領域ベースの特徴抽出器を必要とする。 そこで我々は,ロボット手術における視覚的質問の局所化-回答(Surgical-VQLA)を提案し,回答予測中に特定の手術領域を局所化する。
  論文  参考訳（メタデータ） (2023-05-19T14:13:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。