論文の概要: Head Pose Estimation and 3D Neural Surface Reconstruction via Monocular Camera in situ for Navigation and Safe Insertion into Natural Openings

• arxiv url: http://arxiv.org/abs/2406.13048v1
• Date: Tue, 18 Jun 2024 20:42:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 00:08:09.777147
• Title: Head Pose Estimation and 3D Neural Surface Reconstruction via Monocular Camera in situ for Navigation and Safe Insertion into Natural Openings
• Title（参考訳）: 自然開口部へのナビゲーションと安全な挿入のための単眼カメラを用いた頭部電位推定と3次元脳表面再構成
• Authors: Ruijie Tang, Beilei Cui, Hongliang Ren,
• Abstract要約: 我々は、ベースプラットフォームとして3Dスライダを選択し、センサーとしてモノクルカメラを使用しました。 神経放射場(NeRF)アルゴリズムを用いて頭部の3次元モデル再構成を行った。 個々の頭部ポーズは、シングルカメラビジョンによって取得され、リアルタイムで3Dスライダ内で生成されたシーンに送信される。
• 参考スコア（独自算出の注目度）: 4.592222359553848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the significance of simulation in medical care and intervention continues to grow, it is anticipated that a simplified and low-cost platform can be set up to execute personalized diagnoses and treatments. 3D Slicer can not only perform medical image analysis and visualization but can also provide surgical navigation and surgical planning functions. In this paper, we have chosen 3D Slicer as our base platform and monocular cameras are used as sensors. Then, We used the neural radiance fields (NeRF) algorithm to complete the 3D model reconstruction of the human head. We compared the accuracy of the NeRF algorithm in generating 3D human head scenes and utilized the MarchingCube algorithm to generate corresponding 3D mesh models. The individual's head pose, obtained through single-camera vision, is transmitted in real-time to the scene created within 3D Slicer. The demonstrations presented in this paper include real-time synchronization of transformations between the human head model in the 3D Slicer scene and the detected head posture. Additionally, we tested a scene where a tool, marked with an ArUco Maker tracked by a single camera, synchronously points to the real-time transformation of the head posture. These demos indicate that our methodology can provide a feasible real-time simulation platform for nasopharyngeal swab collection or intubation.
• Abstract（参考訳）: 医療・介入のシミュレーションの重要性が高まるにつれ, 個別診断・治療を行うための簡易で低コストなプラットフォームが構築できることが期待されている。 3Dスライダは、医用画像解析や可視化だけでなく、手術ナビゲーションや手術計画機能の提供も可能である。 本稿では,3Dスライダをベースプラットフォームとして選択し,単眼カメラをセンサとして使用した。 そこで我々はNeRFアルゴリズムを用いて頭部の3次元モデル再構成を行った。 我々は,3次元頭部シーン生成におけるNeRFアルゴリズムの精度を比較し,マーチンキューブアルゴリズムを用いて対応する3次元メッシュモデルを生成する。 個々の頭部ポーズは、シングルカメラビジョンによって取得され、リアルタイムで3Dスライダ内で生成されたシーンに送信される。 本稿では,3次元スライダシーンにおける人間の頭部モデルと検出された頭部姿勢との変換のリアルタイム同期について述べる。 さらに、1台のカメラで追跡されたArUco Makerでマークされたツールが、頭部姿勢のリアルタイムな変化を同期的に示すシーンもテストした。 以上の結果から,本手法は鼻咽喉頭スワブ収集や挿管のためのリアルタイムシミュレーションプラットフォームとして実現可能であることが示唆された。

関連論文リスト

• SLAM assisted 3D tracking system for laparoscopic surgery [22.36252790404779]
  本研究は,登録後タスクのためのリアルタイムモノクル3D追跡アルゴリズムを提案する。 in-vivoおよびex-vivoテストによる実験では、提案された3Dトラッキングシステムが堅牢な3Dトラッキングを提供することが示された。
  論文  参考訳（メタデータ） (2024-09-18T04:00:54Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• Generative Enhancement for 3D Medical Images [74.17066529847546]
  本稿では,3次元医用画像合成の新しい生成手法であるGEM-3Dを提案する。 本手法は2次元スライスから始まり,3次元スライスマスクを用いて患者に提供するための情報スライスとして機能し,生成過程を伝搬する。 3D医療画像をマスクと患者の事前情報に分解することで、GEM-3Dは多目的な3D画像を生成する柔軟な、かつ効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-03-19T15:57:04Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• Intraoperative 2D/3D Image Registration via Differentiable X-ray Rendering [5.617649111108429]
  DiffPoseは、患者固有のシミュレーションと微分可能な物理ベースのレンダリングを利用して、手動でラベル付けされたデータに頼ることなく正確な2D/3D登録を実現する自己教師型アプローチである。 DiffPoseは手術用データセット全体の術速でサブミリ精度を達成し、既存の教師なしの手法を桁違いに改善し、教師付きベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-12-11T13:05:54Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• OmniAvatar: Geometry-Guided Controllable 3D Head Synthesis [81.70922087960271]
  我々は,非構造画像から学習した新しい幾何学誘導型3次元頭部合成モデルであるOmniAvatarを提案する。 我々のモデルは、最先端の手法と比較して、魅力的なダイナミックディテールで、より好ましいID保存された3Dヘッドを合成することができる。
  論文  参考訳（メタデータ） (2023-03-27T18:36:53Z)
• CNN-based real-time 2D-3D deformable registration from a single X-ray projection [2.1198879079315573]
  本稿では, フルオロスコープ画像を用いたリアルタイム2D-3D非剛体登録法を提案する。 術前スキャンから解剖学の変位場と2次元投影からなるデータセットを生成する。 ニューラルネットワークは、未知の3D変位場を単一の投影画像から回復するように訓練される。
  論文  参考訳（メタデータ） (2022-12-15T09:57:19Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。