論文の概要: A Novel Augmented Reality Ultrasound Framework Using an RGB-D Camera and a 3D-printed Marker

• arxiv url: http://arxiv.org/abs/2205.04350v1
• Date: Mon, 9 May 2022 14:54:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 16:21:52.411407
• Title: A Novel Augmented Reality Ultrasound Framework Using an RGB-D Camera and a 3D-printed Marker
• Title（参考訳）: RGB-Dカメラと3Dプリントマーカーを用いた新しい拡張現実超音波フレームワーク
• Authors: Yitian Zhou, Ga\'etan Lelu, Boris Labb\'e, Guillaume Pasquier, Pierre Le Gargasson, Albert Murienne and Laurent Launay
• Abstract要約: 我々のゴールは、標準RGB-Dカメラを用いたシンプルで低コストな拡張現実エコーフレームワークを開発することである。 プロトタイプシステムは、Occipital Structure Core RGB-Dカメラ、特別に設計された3Dマーカー、高速クラウド登録アルゴリズムFaVoRで構成されていた。 プロトタイププローブをソフトウェアPLUSツールキットを用いて3DプリントN線ファントムで校正した。
• 参考スコア（独自算出の注目度）: 0.3061098887924466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Purpose. Ability to locate and track ultrasound images in the 3D operating space is of great benefit for multiple clinical applications. This is often accomplished by tracking the probe using a precise but expensive optical or electromagnetic tracking system. Our goal is to develop a simple and low cost augmented reality echography framework using a standard RGB-D Camera. Methods. A prototype system consisting of an Occipital Structure Core RGB-D camera, a specifically-designed 3D marker, and a fast point cloud registration algorithm FaVoR was developed and evaluated on an Ultrasonix ultrasound system. The probe was calibrated on a 3D-printed N-wire phantom using the software PLUS toolkit. The proposed calibration method is simplified, requiring no additional markers or sensors attached to the phantom. Also, a visualization software based on OpenGL was developed for the augmented reality application. Results. The calibrated probe was used to augment a real-world video in a simulated needle insertion scenario. The ultrasound images were rendered on the video, and visually-coherent results were observed. We evaluated the end-to-end accuracy of our AR US framework on localizing a cube of 5 cm size. From our two experiments, the target pose localization error ranges from 5.6 to 5.9 mm and from -3.9 to 4.2 degrees. Conclusion. We believe that with the potential democratization of RGB-D cameras integrated in mobile devices and AR glasses in the future, our prototype solution may facilitate the use of 3D freehand ultrasound in clinical routine. Future work should include a more rigorous and thorough evaluation, by comparing the calibration accuracy with those obtained by commercial tracking solutions in both simulated and real medical scenarios.
• Abstract（参考訳）: 目的 3d手術空間における超音波画像の位置と追跡能力は,複数の臨床応用において非常に有益である。 これはしばしば、精密だが高価な光学的または電磁的な追跡システムを用いてプローブを追跡することで達成される。 我々のゴールは、標準RGB-Dカメラを用いたシンプルで低コストな拡張現実エコーフレームワークを開発することである。 メソッド。 超音波システムを用いて, Occipital Structure Core RGB-Dカメラ, 特別に設計された3Dマーカー, 高速クラウド登録アルゴリズムであるFaVoRを試作し, 評価を行った。 このプローブはソフトウェアPLUSツールキットを用いて3DプリントしたN線ファントムで校正された。 提案手法は簡易化され,ファントムに付加したマーカーやセンサは不要である。 また、拡張現実アプリケーションのためのOpenGLベースの可視化ソフトウェアを開発した。 結果だ キャリブレーションされたプローブは、シミュレートされた針挿入シナリオで実世界のビデオを強化するために使用された。 映像に超音波画像が映し出され, 視覚的コヒーレントな結果が得られた。 5cmの立方体を局在させるAR USフレームワークのエンドツーエンドの精度を評価した。 2つの実験から,ターゲットポジショニング誤差は5.6mmから5.9mm,-3.9度から4.2°の範囲であった。 結論だ 将来的にはrgb-dカメラがモバイルデバイスやarグラスに統合される可能性があり、このプロトタイプソリューションは臨床で3dフリーハンド超音波の使用が容易になると信じている。 将来の研究は、シミュレーションと実際の医療シナリオの両方において、商用追跡ソリューションによって得られたものとキャリブレーションの精度を比較することで、より厳密で徹底的な評価を含むべきである。

関連論文リスト

• Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
  単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。 本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。 3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
  論文  参考訳（メタデータ） (2024-04-10T03:54:53Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
  本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。 一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。 提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T17:56:01Z)
• Freehand 2D Ultrasound Probe Calibration for Image Fusion with 3D MRI/CT [13.4304925464326]
  これにより、拡張現実を用いて外科手術中の米国の画像データを可視化することが可能になる。 提案手法により, ほぼミリ波の精度を実現することができる。
  論文  参考訳（メタデータ） (2023-03-14T08:55:24Z)
• Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
  1枚以上の画像から3D屋内シーンを没入する問題について検討する。 我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。 本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
  論文  参考訳（メタデータ） (2022-04-06T17:54:46Z)
• Occlusion-robust Visual Markerless Bone Tracking for Computer-Assisted Orthopaedic Surgery [41.681134859412246]
  閉塞に対して頑健なRGB-Dセンサを用いたマーカーレストラッキング手法を提案する。 高品質な商用RGB-Dカメラを用いて,モデル膝の1-2デグレスと2-4mmの精度を実現する。
  論文  参考訳（メタデータ） (2021-08-24T09:49:08Z)
• Progressive Coordinate Transforms for Monocular 3D Object Detection [52.00071336733109]
  本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。 本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-12T15:22:33Z)
• 3D Reconstruction and Alignment by Consumer RGB-D Sensors and Fiducial Planar Markers for Patient Positioning in Radiation Therapy [1.7744342894757368]
  本稿では,安価な消費者レベルのRGB-Dセンサを用いた迅速かつ安価な患者位置決め法を提案する。 提案手法は,手持ちのRGB-Dセンサから記録された実時間,人工的,自然な視覚的ランドマークを融合する3次元再構成手法に依存する。
  論文  参考訳（メタデータ） (2021-03-22T20:20:59Z)
• Sensorless Freehand 3D Ultrasound Reconstruction via Deep Contextual Learning [13.844630500061378]
  フリーハンドUSスキャンからの3次元ボリューム再構成の現在の方法は、フレーム毎に空間的位置を提供するために外部追跡装置を必要とする。 本稿では,DCL-Net(Deep contextual learning network)を提案する。このネットワークは,米国フレーム間の画像特徴関係を効率的に活用し,トラッキング装置を使わずに3DUSボリュームを再構築する。
  論文  参考訳（メタデータ） (2020-06-13T18:37:30Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。