論文の概要: Complexity-Aware Surgical Video Reasoning Segmentation with Digital Twin and Context Memory

• arxiv url: http://arxiv.org/abs/2610.28776v1
• Date: Tue, 20 Oct 2026 18:10:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.116738
• Title: Complexity-Aware Surgical Video Reasoning Segmentation with Digital Twin and Context Memory
• Title（参考訳）: コンテクスト記憶とデジタルツインを用いた複雑度対応型手術ビデオ推論セグメンテーション
• Abstract要約: 本稿では,SurgReasonSegを提案する。SurgReasonSegは,デジタル双対表現に対する推論セグメンテーションを手術ビデオに導入する複雑性認識手法である。 具体的には、SurgReasonSegは手術基礎モデルからDT表現を構築し、強化学習(RL)を伴う1つの大言語モデルの2つのローランクアダプタ(LoRA)を訓練する。 EndoVis-ReasonSegでは、SurgReasonSegが最強ベースラインであるReSurgSAM2よりも0.178、0.237、0.297でJ&Fを改善し、Ref-EndoVis17とRef-Endoで最高の結果を得る。
• 参考スコア（独自算出の注目度）: 9.529907786822115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional surgical segmentation relies on closed-set categories or explicit text queries, which cannot resolve implicit queries that require reasoning about workflows, instrument functions, and temporal relationships. To address these limitations, we propose SurgReasonSeg, a complexity-aware method that brings reasoning segmentation over digital twin (DT) representations to surgical video. Specifically, SurgReasonSeg constructs DT representations from surgical foundation models and trains two low-rank adapters (LoRA) of one large language model with reinforcement learning (RL), each specialized for a different query complexity. A lightweight router, also trained with RL, selects between the two adapters to balance latency against accuracy. SurgReasonSeg also sets the temporal context with an adaptive sliding window conditioned on query complexity and workflow phase, and retrieves relevant historical cases from a surgical context memory by workflow similarity and procedural relevance. We further introduce EndoVis-ReasonSeg, a surgical reasoning segmentation benchmark with 1,460 training and 961 test samples across semantic, spatial, and temporal categories. On EndoVis-ReasonSeg, SurgReasonSeg improves J&F over the strongest baseline, ReSurgSAM2, by 0.178, 0.237, and 0.297 on semantic, spatial, and temporal queries, and it also achieves the best results on the Ref-EndoVis17 and Ref-EndoVis18 referring segmentation benchmarks. A backbone-matched attribution protocol separates the contribution of the upstream segmenter from that of the reasoning modules. Our method runs at 18.8 FPS averaged over the query distribution, enabling real-time reasoning segmentation in surgical videos.
• Abstract（参考訳）: 従来の外科的セグメンテーションは、ワークフロー、楽器機能、時間的関係に関する推論を必要とする暗黙のクエリを解決できない、クローズドセットのカテゴリや明示的なテキストクエリに依存している。 これらの制約に対処するため、SurgReasonSegを提案する。これは、デジタルツイン(DT)表現に対する推論セグメンテーションを手術ビデオに導入する複雑性認識手法である。 具体的には、SurgReasonSegは外科的基礎モデルからDT表現を構築し、強化学習(RL)を備えた1つの大きな言語モデルの2つのローランクアダプタ(LoRA)を訓練する。 RLでトレーニングされた軽量ルータは、レイテンシと精度のバランスをとるために2つのアダプタを選択する。 SurgReasonSegはまた、クエリの複雑さとワークフローフェーズに基づいて、適応的なスライディングウィンドウで時間的コンテキストを設定し、ワークフローの類似性と手続き的関連性によって、外科的コンテキストメモリから関連する過去のケースを検索する。 外科的推論セグメンテーションのベンチマークであるEndoVis-ReasonSegについても紹介する。 EndoVis-ReasonSegでは、SurgReasonSegが最強ベースラインであるReSurgSAM2よりも0.178、0.237、0.297でJ&Fを改善し、セグメンテーションベンチマークのRef-EndoVis17とRef-EndoVis18で最高の結果を得る。 バックボーンマッチング属性プロトコルは、上流セグメンタのコントリビューションと推論モジュールのコントリビューションを分離する。 提案手法はクエリ分布平均18.8FPSで動作し,手術ビデオのリアルタイム推論セグメント化を可能にする。

関連論文リスト

• SIRA: Reasoning-Aware Surgical Instrument Segmentation via Query-Anchored Alignment [17.12835512071567]
  外科的文脈下での問合せ推論としてセグメンテーションをフレーム化するタスク条件の定式化であるReasoning-Aware Surgery Instrument (RA-SIS)を紹介する。 SurgRSに基づいて、ターゲットレベルとクエリレベルのセマンティクスをアンタングル化し、それらを視覚的特徴と統合するマルチモーダルフレームワークであるSIRA(Stagement Instrument Reasoning and Assistant)を提案する。
  論文  参考訳（メタデータ） (2026-09-18T07:17:12Z)
• Scaling Video Pretraining for Surgical Foundation Models [51.92777479821822]
  SurgRecは、スケーラブルで再現可能な、外科的ビデオ理解のための事前学習のレシピだ。 内視鏡,腹腔鏡,白内障,ロボット手術を対象とする10,535ビデオと214.5Mフレームの大規模なコーパスをキュレートした。
  論文  参考訳（メタデータ） (2026-03-31T16:31:25Z)
• J-RAS: Enhancing Medical Image Segmentation via Retrieval-Augmented Joint Training [0.0]
  本稿では,探索モデルとセグメンテーションモデルを統合したガイド画像セグメンテーションのジョイントトレーニング手法を提案する。 どちらのモデルも最適化されており、セグメンテーションモデルは取得した画像とマスクのペアを利用して解剖学的理解を深めることができる。 2つのベンチマークデータセット上で、U-Net、TransUNet、SAM、SegFormerを含む複数のセグメンテーションバックボーンにわたるJ-RASを検証する。
  論文  参考訳（メタデータ） (2025-10-11T01:53:28Z)
• REFRAG: Rethinking RAG based Decoding [67.4862300145604]
  REFRAGは効率的なデコードフレームワークで、RAGアプリケーションの遅延を圧縮し、感知し、拡張し、改善する。 本稿では,RAG,マルチターン会話,長期文書要約など,多種多様な長文タスクを対象としたREFRAGの厳密な検証を行う。
  論文  参考訳（メタデータ） (2025-09-01T03:31:44Z)
• ImpRAG: Retrieval-Augmented Generation with Implicit Queries [34.72864597562907]
  ImpRAGは、検索と生成を統一モデルに統合するクエリフリーなRAGシステムである。 我々は、ImpRAGが、多様な形式を持つ未確認タスクの正確なマッチスコアを3.6-11.5改善したことを示す。
  論文  参考訳（メタデータ） (2025-06-02T21:38:21Z)
• TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
  そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。 TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。 提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
  論文  参考訳（メタデータ） (2022-02-17T05:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。