論文の概要: A Novel Augmented Reality Ultrasound Framework Using an RGB-D Camera and
a 3D-printed Marker
- arxiv url: http://arxiv.org/abs/2205.04350v1
- Date: Mon, 9 May 2022 14:54:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 16:21:52.411407
- Title: A Novel Augmented Reality Ultrasound Framework Using an RGB-D Camera and
a 3D-printed Marker
- Title(参考訳): RGB-Dカメラと3Dプリントマーカーを用いた新しい拡張現実超音波フレームワーク
- Authors: Yitian Zhou, Ga\'etan Lelu, Boris Labb\'e, Guillaume Pasquier, Pierre
Le Gargasson, Albert Murienne and Laurent Launay
- Abstract要約: 我々のゴールは、標準RGB-Dカメラを用いたシンプルで低コストな拡張現実エコーフレームワークを開発することである。
プロトタイプシステムは、Occipital Structure Core RGB-Dカメラ、特別に設計された3Dマーカー、高速クラウド登録アルゴリズムFaVoRで構成されていた。
プロトタイププローブをソフトウェアPLUSツールキットを用いて3DプリントN線ファントムで校正した。
- 参考スコア(独自算出の注目度): 0.3061098887924466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Purpose. Ability to locate and track ultrasound images in the 3D operating
space is of great benefit for multiple clinical applications. This is often
accomplished by tracking the probe using a precise but expensive optical or
electromagnetic tracking system. Our goal is to develop a simple and low cost
augmented reality echography framework using a standard RGB-D Camera.
Methods. A prototype system consisting of an Occipital Structure Core RGB-D
camera, a specifically-designed 3D marker, and a fast point cloud registration
algorithm FaVoR was developed and evaluated on an Ultrasonix ultrasound system.
The probe was calibrated on a 3D-printed N-wire phantom using the software PLUS
toolkit. The proposed calibration method is simplified, requiring no additional
markers or sensors attached to the phantom. Also, a visualization software
based on OpenGL was developed for the augmented reality application.
Results. The calibrated probe was used to augment a real-world video in a
simulated needle insertion scenario. The ultrasound images were rendered on the
video, and visually-coherent results were observed. We evaluated the end-to-end
accuracy of our AR US framework on localizing a cube of 5 cm size. From our two
experiments, the target pose localization error ranges from 5.6 to 5.9 mm and
from -3.9 to 4.2 degrees.
Conclusion. We believe that with the potential democratization of RGB-D
cameras integrated in mobile devices and AR glasses in the future, our
prototype solution may facilitate the use of 3D freehand ultrasound in clinical
routine. Future work should include a more rigorous and thorough evaluation, by
comparing the calibration accuracy with those obtained by commercial tracking
solutions in both simulated and real medical scenarios.
- Abstract(参考訳): 目的
3d手術空間における超音波画像の位置と追跡能力は,複数の臨床応用において非常に有益である。
これはしばしば、精密だが高価な光学的または電磁的な追跡システムを用いてプローブを追跡することで達成される。
我々のゴールは、標準RGB-Dカメラを用いたシンプルで低コストな拡張現実エコーフレームワークを開発することである。
メソッド。
超音波システムを用いて, Occipital Structure Core RGB-Dカメラ, 特別に設計された3Dマーカー, 高速クラウド登録アルゴリズムであるFaVoRを試作し, 評価を行った。
このプローブはソフトウェアPLUSツールキットを用いて3DプリントしたN線ファントムで校正された。
提案手法は簡易化され,ファントムに付加したマーカーやセンサは不要である。
また、拡張現実アプリケーションのためのOpenGLベースの可視化ソフトウェアを開発した。
結果だ
キャリブレーションされたプローブは、シミュレートされた針挿入シナリオで実世界のビデオを強化するために使用された。
映像に超音波画像が映し出され, 視覚的コヒーレントな結果が得られた。
5cmの立方体を局在させるAR USフレームワークのエンドツーエンドの精度を評価した。
2つの実験から,ターゲットポジショニング誤差は5.6mmから5.9mm,-3.9度から4.2°の範囲であった。
結論だ
将来的にはrgb-dカメラがモバイルデバイスやarグラスに統合される可能性があり、このプロトタイプソリューションは臨床で3dフリーハンド超音波の使用が容易になると信じている。
将来の研究は、シミュレーションと実際の医療シナリオの両方において、商用追跡ソリューションによって得られたものとキャリブレーションの精度を比較することで、より厳密で徹底的な評価を含むべきである。
関連論文リスト
- RUSOpt: Robotic UltraSound Probe Normalization with Bayesian
Optimization for In-plane and Out-plane Scanning [4.420121239028863]
超音波画像の品質管理において,ロボットプローブの適切な配向が重要な役割を担っている。
走査面上の接触点に対する超音波プローブの向きを自動的に調整する試料効率向上手法を提案する。
論文 参考訳(メタデータ) (2023-10-05T09:22:16Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose
Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳(メタデータ) (2023-05-05T13:42:19Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳(メタデータ) (2023-05-03T17:56:01Z) - 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。
まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。
そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
論文 参考訳(メタデータ) (2023-03-18T05:51:05Z) - Freehand 2D Ultrasound Probe Calibration for Image Fusion with 3D MRI/CT [13.4304925464326]
これにより、拡張現実を用いて外科手術中の米国の画像データを可視化することが可能になる。
提案手法により, ほぼミリ波の精度を実現することができる。
論文 参考訳(メタデータ) (2023-03-14T08:55:24Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳(メタデータ) (2022-04-06T17:54:46Z) - Occlusion-robust Visual Markerless Bone Tracking for Computer-Assisted
Orthopaedic Surgery [41.681134859412246]
閉塞に対して頑健なRGB-Dセンサを用いたマーカーレストラッキング手法を提案する。
高品質な商用RGB-Dカメラを用いて,モデル膝の1-2デグレスと2-4mmの精度を実現する。
論文 参考訳(メタデータ) (2021-08-24T09:49:08Z) - Progressive Coordinate Transforms for Monocular 3D Object Detection [52.00071336733109]
本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
論文 参考訳(メタデータ) (2021-08-12T15:22:33Z) - 3D Reconstruction and Alignment by Consumer RGB-D Sensors and Fiducial
Planar Markers for Patient Positioning in Radiation Therapy [1.7744342894757368]
本稿では,安価な消費者レベルのRGB-Dセンサを用いた迅速かつ安価な患者位置決め法を提案する。
提案手法は,手持ちのRGB-Dセンサから記録された実時間,人工的,自然な視覚的ランドマークを融合する3次元再構成手法に依存する。
論文 参考訳(メタデータ) (2021-03-22T20:20:59Z) - Sensorless Freehand 3D Ultrasound Reconstruction via Deep Contextual
Learning [13.844630500061378]
フリーハンドUSスキャンからの3次元ボリューム再構成の現在の方法は、フレーム毎に空間的位置を提供するために外部追跡装置を必要とする。
本稿では,DCL-Net(Deep contextual learning network)を提案する。このネットワークは,米国フレーム間の画像特徴関係を効率的に活用し,トラッキング装置を使わずに3DUSボリュームを再構築する。
論文 参考訳(メタデータ) (2020-06-13T18:37:30Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。