論文の概要: SurgStream: A Workflow-Anchored Proactive Streaming Framework and Benchmark for Real-Time Surgical Video Understanding

• arxiv url: http://arxiv.org/abs/2611.01982v1
• Date: Sun, 01 Nov 2026 15:18:31 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:30:38.681435
• Title: SurgStream: A Workflow-Anchored Proactive Streaming Framework and Benchmark for Real-Time Surgical Video Understanding
• Title（参考訳）: SurgStream: ワークフロー対応のプロアクティブストリーミングフレームワークとリアルタイム手術ビデオ理解のためのベンチマーク
• Abstract要約: SurgStreamは、リアルタイムの外科的ビデオ理解のためのプロアクティブなストリーミングフレームワークである。 遷移学習は臨床窓の反応状態を監督するために考案された。 SurgStream-Benchの実験は最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 7.940610464328199
• License:
• Abstract: Surgical video understanding is essential for intraoperative assistance such as workflow monitoring, instrument preparation and procedural documentation. Delivering such assistance in real time requires a model to jointly perceive the ongoing scene, remember past surgical events, and respond before clinically relevant moments pass. Existing approaches provide limited support for jointly retaining procedural evidence and deciding when to respond in streaming surgical video. In this work, we propose SurgStream, a workflow-anchored proactive streaming framework for real-time surgical video understanding. We first introduce Workflow-Anchored Memory (WAM) to record structured instrument-action-target observations and fold them into phase-level summaries, providing compact and queryable surgical memory. Deadline-aware Transition Learning (DTL) is then devised to supervise response states within clinical windows, enabling timely responses before procedural deadlines. We further introduce SurgStream-Bench, comprising 11.7K streaming interactions across various tasks covering real-time perception, backward memory queries, forward proactive QA, proactive alerts and caption memory. Experiments on SurgStream-Bench show gains over state-of-the-art methods, especially in memory and forward proactive QA. The source code will be available.
• Abstract（参考訳）: 外科的ビデオ理解は、ワークフローモニタリング、機器準備、手続き文書などの術中支援に不可欠である。 このような支援をリアルタイムで配信するには、進行中のシーンを共同で知覚し、過去の外科的出来事を思い出し、臨床的に関係のある瞬間が過ぎる前に応答するモデルが必要である。 既存のアプローチは、手続き的証拠を共同で保持し、ストリーミングの手術ビデオに応答するタイミングを決定するための限定的なサポートを提供する。 本研究では,リアルタイムな外科的ビデオ理解のためのプロアクティブストリーミングフレームワークであるSurgStreamを提案する。 まず、構造化された機器・アクション・ターゲットの観測を記録するためにWorkflow-Anchored Memory(WAM)を導入し、それらをフェーズレベルの要約に折り畳み、コンパクトでクエリ可能な手術用メモリを提供する。 デッドライン・アウェア・トランジション・ラーニング(DTL)は、臨床ウィンドウ内の応答状態を監視し、手続き的な期限前にタイムリーな応答を可能にするように設計されている。 さらにSurgStream-Benchを導入し、リアルタイム認識、後方メモリクエリ、前方アクティブQA、アクティブアラート、キャプションメモリを含む、さまざまなタスクにわたる11.7Kのストリーミングインタラクションについて紹介する。 SurgStream-Benchの実験では、特にメモリおよびフォワードプロアクティブQAにおいて、最先端の手法よりも向上している。 ソースコードは利用可能になる。

関連論文リスト

• ProactEgoMem: Benchmarking Proactive Memory in Streaming Egocentric Video [67.97229831293886]
  本稿では,ストリーミングエゴセントリックビデオにおけるプロアクティブメモリを評価するベンチマークであるProactEgoMemを紹介する。 ベンチマークではプロトコルを2段階のプロアクティブ性で定義している。 パラレルのProactEgoMem-DailyとProactEgoMem-Sciトラックは、日常および科学的なユースケースをカバーする300/100のクリップを含んでいる。
  論文  参考訳（メタデータ） (2026-10-21T17:37:58Z)
• SurgOnAir: Hierarchy-Aware Real-Time Surgical Video Commentary [44.963317589774284]
  SurgOnAirは、将来のアクセスなしにフレームを逐次処理し、ビジュアル入力が到着するとナレーショントークンを生成するビジョン言語モデルである。 このモデルは、外科手術の固有の階層を反映した多段階のテキスト応答を生成するように訓練されている。 実験によると、SurgOnAirは、手術ワークフローの複数の階層にわたるストリーミングを統合する単一の視覚言語モデルを通じて、リアルタイムの理解を可能にする。
  論文  参考訳（メタデータ） (2026-05-20T13:04:39Z)
• Multimodal Optimal Transport for Unsupervised Temporal Segmentation in Surgical Robotics [2.582839864045357]
  外科的段階とビデオからの段階を認識することは、コンピュータによる介入の基本的な問題である。 最近のアプローチでは、何千ものラベル付き外科的ビデオに大規模な事前トレーニングを頼りにしており、その後、特定の手順にゼロショットで移行している。 外科的位相とステップ認識のための教師なし手法であるテキスト拡張アクション最適輸送(TASOT)を提案する。
  論文  参考訳（メタデータ） (2026-02-27T16:15:58Z)
• StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos [128.45606644157]
  StreamGazeは、MLLMがストリーミングビデオにおける時間的および前向きな推論において、いかに効果的に視線を使用するかを評価する最初のベンチマークである。 我々は、エゴセントリックなビデオと生の視線軌跡を整列する視線ビデオQA生成パイプラインを開発した。 我々は、最先端のMLLMと人的パフォーマンスの相違をかなり観察する。
  論文  参考訳（メタデータ） (2025-12-01T14:15:44Z)
• SurgLLM: A Versatile Large Multimodal Model with Spatial Focus and Temporal Awareness for Surgical Video Understanding [75.00667948967848]
  SurgLLMフレームワークは、多用途の手術ビデオ理解タスクに適した、大規模なマルチモーダルモデルである。 外科的ビデオの空間的焦点を高めるために,SurgLLMの動画エンコーダのためのSurg-Pretraining(Surg-Pretraining)を最初に考案した。 外科的時間的知識をSurgLLMに組み込むため, インターリーブ型マルチモーダル埋め込みによる時間的推論を改善するために, 時間的対応型マルチモーダルチューニング(TM-Tuning)を提案する。
  論文  参考訳（メタデータ） (2025-08-30T04:36:41Z)
• StreamAgent: Towards Anticipatory Agents for Streaming Video Understanding [52.55809460075286]
  本稿では,今後のタスク関連情報を含むと思われる時間間隔と空間領域を予測できるStreamAgentを提案する。 我々は,重要な出来事の時間的進行を予測するために,予測エージェントに期待を促すことによって,質問の意味論と歴史的観察を統合する。 提案手法は,応答精度とリアルタイム効率において既存の手法よりも優れており,実世界のストリーミングシナリオの実用的価値を強調している。
  論文  参考訳（メタデータ） (2025-08-03T18:15:42Z)
• Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid Embedding Aggregation Transformer [57.18185972461453]
  本稿では,手術ワークフロー解析トランスフォーマーを初めて導入し,正確な位相認識のための時間的特徴と時間的特徴の無視された補完効果を再考する。 我々のフレームワークは軽量であり、高い推論速度を達成するためにハイブリッド埋め込みを並列に処理します。
  論文  参考訳（メタデータ） (2021-03-17T15:12:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。