論文の概要: SurgeonAssist-Net: Towards Context-Aware Head-Mounted Display-Based
Augmented Reality for Surgical Guidance
- arxiv url: http://arxiv.org/abs/2107.06397v1
- Date: Tue, 13 Jul 2021 21:12:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-15 14:20:04.625567
- Title: SurgeonAssist-Net: Towards Context-Aware Head-Mounted Display-Based
Augmented Reality for Surgical Guidance
- Title（参考訳）: Surgeon Assist-Net:手術指導のためのコンテキスト対応ヘッドマウントディスプレイベース拡張現実を目指して
- Authors: Mitchell Doughty, Karan Singh, and Nilesh R. Ghugre
- Abstract要約: SurgeonAssist-Netは、アクション・アンド・ワークフロー駆動の仮想アシストを、市販の光学シースルーヘッドマウントディスプレイ(OST-HMD)に利用できるようにするフレームワークである。
本実装は,タスクの自動認識のための予測精度において,最先端の手法と競合する。
これはMicrosoft HoloLens 2 OST-HMD上でほぼリアルタイムで動作することができる。
- 参考スコア（独自算出の注目度）: 18.060445966264727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present SurgeonAssist-Net: a lightweight framework making
action-and-workflow-driven virtual assistance, for a set of predefined surgical
tasks, accessible to commercially available optical see-through head-mounted
displays (OST-HMDs). On a widely used benchmark dataset for laparoscopic
surgical workflow, our implementation competes with state-of-the-art approaches
in prediction accuracy for automated task recognition, and yet requires 7.4x
fewer parameters, 10.2x fewer floating point operations per second (FLOPS), is
7.0x faster for inference on a CPU, and is capable of near real-time
performance on the Microsoft HoloLens 2 OST-HMD. To achieve this, we make use
of an efficient convolutional neural network (CNN) backbone to extract
discriminative features from image data, and a low-parameter recurrent neural
network (RNN) architecture to learn long-term temporal dependencies. To
demonstrate the feasibility of our approach for inference on the HoloLens 2 we
created a sample dataset that included video of several surgical tasks recorded
from a user-centric point-of-view. After training, we deployed our model and
cataloged its performance in an online simulated surgical scenario for the
prediction of the current surgical task. The utility of our approach is
explored in the discussion of several relevant clinical use-cases. Our code is
publicly available at https://github.com/doughtmw/surgeon-assist-net.
- Abstract（参考訳）: 本稿では,市販の光学式シースルーヘッドマウントディスプレイ (ost-hmd) に対して,予め定義された手術タスクのセットに対して,アクション・アンド・ワークフロー駆動の仮想支援を実現する軽量フレームワークである surgeonassist-net を提案する。
腹腔鏡下手術ワークフロー用ベンチマークデータセットでは,自動タスク認識のための予測精度において最先端のアプローチと競合するが,パラメータの7.4倍,毎秒10.2倍の浮動小数点演算(FLOPS)が必要であり,CPU上での推論では7.0倍高速で,Microsoft HoloLens 2 OST-HMD上でほぼリアルタイムのパフォーマンスを実現している。
これを実現するために、画像データから識別的特徴を抽出するために効率的な畳み込みニューラルネットワーク(CNN)と、長期的な時間的依存関係を学習するために低パラメータリカレントニューラルネットワーク(RNN)アーキテクチャを利用する。
hololens 2での推論アプローチの実現可能性を示すために、ユーザー中心の視点から記録されたいくつかの手術タスクのビデオを含むサンプルデータセットを作成しました。
訓練後,本モデルを適用し,その性能をオンラインシミュレーションによる手術シナリオに分類し,現在の手術課題の予測を行った。
本手法はいくつかの臨床応用事例の議論において有用性を検討した。
私たちのコードはhttps://github.com/doughtmw/surgeon-assist-netで公開しています。
関連論文リスト
- Exploring Optical Flow Inclusion into nnU-Net Framework for Surgical Instrument Segmentation [1.3444601218847545]
nnU-Netフレームワークは、時間情報なしで単一のフレームを分析するセマンティックセグメンテーションに優れていた。
オプティカルフロー(OF)は、ビデオタスクでよく使われるツールで、動きを推定し、時間情報を含む単一のフレームで表現する。
本研究は,nU-Netアーキテクチャに付加的な入力として,オペレーショナル・インスツルメンテーション・セグメンテーション・タスクの性能向上を目的としている。
論文 参考訳（メタデータ） (2024-03-15T11:36:26Z) - Efficient Adaptive Human-Object Interaction Detection with
Concept-guided Memory [64.11870454160614]
概念誘導メモリ(ADA-CM)を用いた適応型HOI検出器を提案する。
ADA-CMには2つの操作モードがある。最初のモードでは、トレーニング不要のパラダイムで新しいパラメータを学習することなくチューニングできる。
提案手法は, HICO-DET と V-COCO のデータセットに対して, より少ないトレーニング時間で, 最新技術による競合的な結果を得る。
論文 参考訳（メタデータ） (2023-09-07T13:10:06Z) - Bounded Future MS-TCN++ for surgical gesture recognition [0.0]
性能遅延トレードオフを学習し、このトレードオフを利用できるMS-TCN++ベースのアルゴリズムを設計する。
単純なアプローチは、MS-TCN++の深さを減らすことであり、その結果、受容野が減少し、必要となる将来のフレームの数も減少する。
このように、ネットワーク設計には柔軟性があり、結果として、単純なアプローチよりもはるかに優れたパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2022-09-29T09:09:54Z) - Efficient Global-Local Memory for Real-time Instrument Segmentation of
Robotic Surgical Video [53.14186293442669]
手術器具の知覚における重要な手がかりとして,隣接するフレームからの局所的時間依存性と,長距離における大域的意味的相関があげられる。
本稿では,グローバルとローカルの両方の時間的知識を関連付ける新しいデュアルメモリネットワーク(DMNet)を提案する。
本手法は,実時間速度を維持しながらセグメント化精度を向上する手法である。
論文 参考訳（メタデータ） (2021-09-28T10:10:14Z) - Temporal Memory Relation Network for Workflow Recognition from Surgical
Video [53.20825496640025]
本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。
我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
論文 参考訳（メタデータ） (2021-03-30T13:20:26Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Aggregating Long-Term Context for Learning Laparoscopic and
Robot-Assisted Surgical Workflows [40.48632897750319]
本稿では,タスク固有のネットワーク表現を利用した時間的ネットワーク構造を提案する。
腹腔鏡下胆嚢摘出術を施行した。
論文 参考訳（メタデータ） (2020-09-01T20:29:14Z) - Searching for Efficient Architecture for Instrument Segmentation in
Robotic Surgery [58.63306322525082]
ほとんどのアプリケーションは、高解像度の外科画像の正確なリアルタイムセグメンテーションに依存している。
我々は,高解像度画像のリアルタイム推論を行うために調整された,軽量で高効率なディープ残差アーキテクチャを設計する。
論文 参考訳（メタデータ） (2020-07-08T21:38:29Z) - Automatic Operating Room Surgical Activity Recognition for
Robot-Assisted Surgery [1.1033115844630357]
ロボット支援手術における自動手術活動認識について検討した。
400本のフル長マルチパースペクティブビデオを含む,最初の大規模データセットを収集する。
ビデオに最も認識され,臨床的に関係のある10のクラスで注釈を付ける。
論文 参考訳（メタデータ） (2020-06-29T16:30:31Z) - LRTD: Long-Range Temporal Dependency based Active Learning for Surgical
Workflow Recognition [67.86810761677403]
本稿では,費用対効果の高い手術ビデオ解析のための新しい能動的学習法を提案する。
具体的には,非局所的再帰的畳み込みネットワーク (NL-RCNet) を提案する。
手術ワークフロー認識タスクを実行することで,大規模な手術ビデオデータセット(Cholec80)に対するアプローチを検証する。
論文 参考訳（メタデータ） (2020-04-21T09:21:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。