論文の概要: Spatiotemporal-Aware Augmented Reality: Redefining HCI in Image-Guided Therapy

• arxiv url: http://arxiv.org/abs/2003.02260v1
• Date: Wed, 4 Mar 2020 18:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 13:55:05.500107
• Title: Spatiotemporal-Aware Augmented Reality: Redefining HCI in Image-Guided Therapy
• Title（参考訳）: 時空間認識拡張現実:画像ガイド療法におけるHCIの再定義
• Authors: Javad Fotouhi, Arian Mehrfard, Tianyu Song, Alex Johnson, Greg Osgood, Mathias Unberath, Mehran Armand, and Nassir Navab
• Abstract要約: 拡張現実(AR)はこの10年で手術室に導入されている。 本稿では、ヘッドマウントディスプレイの利点をフル活用して、模範的な可視化をいかに再定義するかを示す。 X線画像の幾何学的および物理的特性からシステムの認識は、異なるヒューマン・マシン・インタフェースの再定義を可能にする。
• 参考スコア（独自算出の注目度）: 39.370739217840594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Suboptimal interaction with patient data and challenges in mastering 3D anatomy based on ill-posed 2D interventional images are essential concerns in image-guided therapies. Augmented reality (AR) has been introduced in the operating rooms in the last decade; however, in image-guided interventions, it has often only been considered as a visualization device improving traditional workflows. As a consequence, the technology is gaining minimum maturity that it requires to redefine new procedures, user interfaces, and interactions. The main contribution of this paper is to reveal how exemplary workflows are redefined by taking full advantage of head-mounted displays when entirely co-registered with the imaging system at all times. The proposed AR landscape is enabled by co-localizing the users and the imaging devices via the operating room environment and exploiting all involved frustums to move spatial information between different bodies. The awareness of the system from the geometric and physical characteristics of X-ray imaging allows the redefinition of different human-machine interfaces. We demonstrate that this AR paradigm is generic, and can benefit a wide variety of procedures. Our system achieved an error of $4.76\pm2.91$ mm for placing K-wire in a fracture management procedure, and yielded errors of $1.57\pm1.16^\circ$ and $1.46\pm1.00^\circ$ in the abduction and anteversion angles, respectively, for total hip arthroplasty. We hope that our holistic approach towards improving the interface of surgery not only augments the surgeon's capabilities but also augments the surgical team's experience in carrying out an effective intervention with reduced complications and provide novel approaches of documenting procedures for training purposes.
• Abstract（参考訳）: 画像誘導療法において, 患者データとの至適の相互作用と, 不正な2次元介入画像に基づく3次元解剖学の習得の課題が不可欠である。 拡張現実(AR)は、過去10年間に手術室で導入されてきたが、画像誘導による介入では、従来のワークフローを改善する視覚化デバイスとしてのみ考えられてきた。 その結果、テクノロジーは最小限の成熟度を得ており、新しい手順、ユーザーインターフェース、インタラクションを再定義する必要がある。 本論文の主な貢献は、常に画像システムと完全に共存している場合に、ヘッドマウントディスプレイの利点をフル活用することで、模範的なワークフローがいかに再定義されるかを明らかにすることである。 提案するarランドスケープは、手術室環境を介してユーザとイメージングデバイスを同時にローカライズし、関連する全てのフラスタムを利用して異なる身体間で空間情報を移動することによって実現される。 x線イメージングの幾何学的・物理的特徴からシステムの認識は、異なるヒューマンマシンインタフェースの再定義を可能にする。 我々は、このARパラダイムが汎用的であり、幅広い手続きに利益をもたらすことを実証する。 4.76\pm2.91$mmのk-wireを骨折管理手順に配置し, 人工股関節全置換術では1.57\pm1.16^\circ$と1.46\pm1.00^\circ$の誤差を認めた。 手術のインターフェースを改善するための総合的なアプローチは、外科医の能力を増強するだけでなく、合併症の軽減に効果的な介入を行う上での外科チームの経験を増強し、訓練目的の文書化の新たなアプローチを提供することを願っている。

関連論文リスト

• Deep intra-operative illumination calibration of hyperspectral cameras [73.08443963791343]
  ハイパースペクトルイメージング (HSI) は, 様々な手術応用に期待できる新しい画像モダリティとして出現している。 手術室における照明条件の動的変化がHSIアプリケーションの性能に劇的な影響を及ぼすことを示す。 手術中におけるハイパースペクトル画像の自動再構成のための新しい学習ベースアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-11T08:30:03Z)
• Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
  手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。 脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。 5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
  論文  参考訳（メタデータ） (2024-03-25T13:09:40Z)
• SLIMBRAIN: Augmented Reality Real-Time Acquisition and Processing System For Hyperspectral Classification Mapping with Depth Information for In-Vivo Surgical Procedures [0.0]
  本稿では,高スペクトル(HS)情報から脳腫瘍組織を分類・表示するのに適したリアルタイム取得・処理ARシステムであるSLIMBRAINを提案する。 このシステムは、腫瘍切除手術中に、HS画像を毎秒14フレーム(FPS)でキャプチャして処理し、ニューロサージョンの手術と同時に癌組織を検出し、切り離す。 結果はARビジュアライゼーションで表現され、分類結果はLiDARカメラで捉えたRGBポイントクラウドと重なる。
  論文  参考訳（メタデータ） (2024-03-25T11:10:49Z)
• Monocular Microscope to CT Registration using Pose Estimation of the Incus for Augmented Reality Cochlear Implant Surgery [3.8909273404657556]
  本研究では, 外部追跡装置を必要とせず, 2次元から3次元の観察顕微鏡映像を直接CTスキャンに登録する手法を開発した。 その結果, x, y, z軸の平均回転誤差は25度未満, 翻訳誤差は2mm, 3mm, 0.55%であった。
  論文  参考訳（メタデータ） (2024-03-12T00:26:08Z)
• Surgical Temporal Action-aware Network with Sequence Regularization for Phase Recognition [28.52533700429284]
  本稿では,STAR-Netと命名されたシークエンス正規化を施した手術時行動認識ネットワークを提案する。 MS-STAモジュールは、視覚的特徴と2Dネットワークを犠牲にして、手術行動の空間的および時間的知識を統合する。 我々のSTAR-Net with MS-STA and DSR can exploit of visual features of surgery action with effective regularization, which to the excellent performance of surgery phase recognition。
  論文  参考訳（メタデータ） (2023-11-21T13:43:16Z)
• End-to-End assessment of AR-assisted neurosurgery systems [0.5892638927736115]
  我々は、AR支援型神経外科システムを評価するための異なる手法を分類し、評価手順を体系化する新しい手法を提案する。 その結果, 物理フィードバックによりホログラム変位による誤差を著しく低減できることがわかった。 ホログラムに対する視覚的フィードバックの欠如は、利用者の3D知覚に大きな影響を与えない。
  論文  参考訳（メタデータ） (2023-11-03T13:41:44Z)
• Visual-Kinematics Graph Learning for Procedure-agnostic Instrument Tip Segmentation in Robotic Surgeries [29.201385352740555]
  そこで我々は,様々な外科手術を施した楽器の先端を正確に分類する新しいビジュアル・キネマティクスグラフ学習フレームワークを提案する。 具体的には、画像とキネマティクスの両方から楽器部品のリレーショナル特徴を符号化するグラフ学習フレームワークを提案する。 クロスモーダル・コントラッシブ・ロスは、キネマティクスからチップセグメンテーションのイメージへの頑健な幾何学的先行を組み込むように設計されている。
  論文  参考訳（メタデータ） (2023-09-02T14:52:58Z)
• GLSFormer : Gated - Long, Short Sequence Transformer for Step Recognition in Surgical Videos [57.93194315839009]
  本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。 本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2023-07-20T17:57:04Z)
• Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [66.74633676595889]
  静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。 第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。 第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
  論文  参考訳（メタデータ） (2023-05-05T13:42:19Z)
• Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical Procedures [70.69948035469467]
  カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。 次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
  論文  参考訳（メタデータ） (2021-06-09T14:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。