論文の概要: Real-Time Visual Obstruction Detection in Surgical Augmented Reality

• arxiv url: http://arxiv.org/abs/2608.00232v1
• Date: Fri, 31 Jul 2026 19:23:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.552886
• Title: Real-Time Visual Obstruction Detection in Surgical Augmented Reality
• Title（参考訳）: 手術用拡張現実におけるリアルタイム視力障害検出
• Abstract要約: 外科的拡張現実(AR)は、仮想アノテーション、ツールキュー、手続き情報を手術作業空間にオーバーレイすることでコンテキストガイダンスを提供することができる。 仮想コンテンツは、手術器具のようなタスク関連の実世界の情報を妨害し、時間に敏感な手術作業中にユーザの知覚を阻害する可能性がある。 本稿では,視覚言語モデル(VLM)に基づく手術対象認識とセグメンテーションに基づく閉塞推論を組み合わせた遅延認識パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 10.294548528868452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surgical augmented reality (AR) can provide contextual guidance by overlaying virtual annotations, tool cues, and procedural information onto the surgical workspace. However, the virtual content may obstruct task-relevant real-world information, such as surgical instruments, and interfere with users' perception during time-sensitive surgical tasks. In this paper, we investigate visual obstruction detection for surgical AR and present a latency-aware pipeline that combines vision-language model (VLM)-based surgical-object recognition with segmentation-based obstruction reasoning. To reduce inference overhead, the system adopts a cascaded small-to-large VLM architecture with segmentation-guided early exiting and attention-based visual token pruning. The small VLM handles easy frames when its key-object prediction is supported by segmentation consistency, while difficult frames are forwarded to a large VLM with pruned visual tokens. We construct a pseudo-AR surgical obstruction detection benchmark by overlaying virtual content onto surgical-tool images and labeling whether the virtual content obstructs task-relevant instruments. Evaluation results show that the proposed system achieves 87.43% obstruction detection accuracy with an average end-to-end latency of 479 ms, reducing latency by 62.90% compared with a cloud large-model baseline. These results demonstrate the feasibility of latency-aware obstruction detection for surgical AR and motivate future work on dynamic surgical videos, multi-object scenes, and clinically grounded AR guidance content.
• Abstract（参考訳）: 外科的拡張現実(AR)は、仮想アノテーション、ツールキュー、手続き情報を手術作業空間にオーバーレイすることでコンテキストガイダンスを提供することができる。 しかし、仮想コンテンツは、手術器具などのタスク関連の実世界の情報を妨害し、時間に敏感な手術作業中のユーザの知覚を妨害する可能性がある。 本稿では,手術用ARの視覚的障害物検出について検討し,視覚言語モデル(VLM)に基づく外科用物体認識とセグメンテーションに基づく障害物推論を組み合わせた遅延認識パイプラインを提案する。 推論オーバーヘッドを低減するため、セグメンテーション誘導早期退避とアテンションベースの視覚トークンプルーニングを備えた、ケースケードの小さなVLMアーキテクチャを採用している。 小さなVLMは、キーオブジェクト予測がセグメンテーション整合性によってサポートされているときに容易にフレームを処理し、難しいフレームはプルーニングされた視覚トークンを持つ大きなVLMに転送される。 我々は,仮想コンテンツを手術ツールイメージにオーバーレイし,仮想コンテンツがタスク関連機器を妨害するかどうかをラベル付けすることで,擬似AR手術妨害検出ベンチマークを構築した。 評価結果から,提案システムは平均終端遅延479msで87.43%の閉塞検出精度を実現し,クラウド大モデルベースラインと比較してレイテンシを62.90%削減した。 これらの結果は,外科的ARの遅延認識による閉塞検出の実現可能性を示し,ダイナミックな手術ビデオ,多目的シーン,臨床応用ARガイダンスの内容に対する今後の取り組みを動機づけるものである。

関連論文リスト

• Extend Your Horizon: A Device-Agnostic Surgical Tool Tracking Framework with Multi-View Optimization for Augmented Reality [40.023882327049684]
  手術ナビゲーションは、患者の解剖学と手術器具のポーズを推定することでリアルタイムのガイダンスを提供する。 既存のアプローチのほとんどは明確な視線に依存しており、動的な手術室環境では維持が困難である。 本研究は,動的なシーングラフ表現内に複数の感覚モーダルを融合させることにより,閉塞下での手術器具の追跡を行う枠組みを導入する。
  論文  参考訳（メタデータ） (2026-03-09T05:37:49Z)
• ForgeryVCR: Visual-Centric Reasoning via Efficient Forensic Tools in MLLMs for Image Forgery Detection and Localization [62.03035862528452]
  ForgeryVCRは、視覚中心推論(Visual-Centric Reasoning)を通じて、知覚できないトレースを明示的な視覚中間体に物質化するフレームワークである。 ForgeryVCRは、検出タスクとローカライゼーションタスクの両方において、最先端(SOTA)のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-15T11:14:47Z)
• Future Slot Prediction for Unsupervised Object Discovery in Surgical Video [10.984331138780682]
  オブジェクト中心のスロットアテンションは、構造化された解釈可能なオブジェクト中心の表現を教師なしで学習するための新たなパラダイムである。 適応スロット数による現在のアプローチは,画像上では良好に機能するが,手術ビデオ上でのパフォーマンスは低い。 本稿では、時間的推論と最適な将来スロット予測の両方のために訓練された動的時間的スロットトランス (DTST) モジュールを提案する。
  論文  参考訳（メタデータ） (2025-07-02T16:52:16Z)
• Surgical Foundation Model Leveraging Compression and Entropy Maximization for Image-Guided Surgical Assistance [50.486523249499115]
  低侵襲手術(MIS)におけるリアルタイム映像理解の重要性 手術ビデオからコンパクトで情報的表現を学習するための,新しい自己教師型フレームワークであるCompress-to-Explore (C2E)を提案する。 C2Eは、エントロピー最大化デコーダを使用して、臨床的に関連する詳細を保持しながら画像を圧縮し、ラベル付きデータなしでエンコーダのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-05-16T14:02:24Z)
• Data-Centric Learning Framework for Real-Time Detection of Aiming Beam in Fluorescence Lifetime Imaging Guided Surgery [3.8261910636994925]
  本研究では,FLImを用いたリアルタイム手術指導のための新しいデータ中心アプローチを提案する。 第一の課題は,特に経口ロボット手術(TORS)における手術環境における複雑で変動的な状態から生じる。 ラベルノイズの最小化と検出ロバスト性の向上により精度を向上させるデータ中心のトレーニング戦略を用いて,インスタンスセグメンテーションモデルを開発した。
  論文  参考訳（メタデータ） (2024-11-11T22:04:32Z)
• Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
  手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。 本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-30T22:21:05Z)
• Automated Surgical Skill Assessment in Endoscopic Pituitary Surgery using Real-time Instrument Tracking on a High-fidelity Bench-top Phantom [9.41936397281689]
  外科的スキルの改善は一般的に患者の成績の改善に関連しているが、評価は主観的であり、労働集約的である。 内視鏡下垂体手術の鼻相を模範として,シミュレートされた手術に焦点を当てた新しい公開データセットが導入された。 多層パーセプトロンは87%の精度で手術技量(初心者または専門家)を予測し、「可視時間測定のための全手術時間の割合」は高度な手術技量と相関した。
  論文  参考訳（メタデータ） (2024-09-25T15:27:44Z)
• CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
  縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。 ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。 我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
  論文  参考訳（メタデータ） (2024-03-21T15:13:36Z)
• Exploring Optical Flow Inclusion into nnU-Net Framework for Surgical Instrument Segmentation [1.3444601218847545]
  nnU-Netフレームワークは、時間情報なしで単一のフレームを分析するセマンティックセグメンテーションに優れていた。 オプティカルフロー(OF)は、ビデオタスクでよく使われるツールで、動きを推定し、時間情報を含む単一のフレームで表現する。 本研究は,nU-Netアーキテクチャに付加的な入力として,オペレーショナル・インスツルメンテーション・セグメンテーション・タスクの性能向上を目的としている。
  論文  参考訳（メタデータ） (2024-03-15T11:36:26Z)
• SAR-RARP50: Segmentation of surgical instrumentation and Action Recognition on Robot-Assisted Radical Prostatectomy Challenge [72.97934765570069]
  外科的動作認識と意味計測のセグメンテーションのための,最初のマルチモーダルなインビボデータセットを公開し,ロボット補助根治術(RARP)の50の縫合ビデオセグメントを収録した。 この課題の目的は、提供されたデータセットのスケールを活用し、外科領域における堅牢で高精度なシングルタスクアクション認識とツールセグメンテーションアプローチを開発することである。 合計12チームがこのチャレンジに参加し、7つのアクション認識方法、9つの計器のセグメンテーション手法、そしてアクション認識と計器のセグメンテーションを統合した4つのマルチタスクアプローチをコントリビュートした。
  論文  参考訳（メタデータ） (2023-12-31T13:32:18Z)
• Searching for Efficient Architecture for Instrument Segmentation in Robotic Surgery [58.63306322525082]
  ほとんどのアプリケーションは、高解像度の外科画像の正確なリアルタイムセグメンテーションに依存している。 我々は,高解像度画像のリアルタイム推論を行うために調整された,軽量で高効率なディープ残差アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2020-07-08T21:38:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。