論文の概要: EasyVis2: A Real Time Multi-view 3D Visualization for Laparoscopic Surgery Training Enhanced by a Deep Neural Network YOLOv8-Pose
- arxiv url: http://arxiv.org/abs/2412.16742v1
- Date: Sat, 21 Dec 2024 19:26:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 19:42:48.075344
- Title: EasyVis2: A Real Time Multi-view 3D Visualization for Laparoscopic Surgery Training Enhanced by a Deep Neural Network YOLOv8-Pose
- Title（参考訳）: EasyVis2:Deep Neural Network YOLOv8-Poseによる腹腔鏡下手術訓練のためのリアルタイム多視点3D可視化
- Authors: Yung-Hong Sun, Gefei Shen, Jiangang Chen, Jayer Fernandes, Hongrui Jiang, Yu Hen Hu,
- Abstract要約: EasyVis2は、腹腔鏡下手術時にハンズフリーでリアルタイムな3D視覚化のために設計されたシステムである。
マイクロカメラのセットを備えた手術用トロカーを体内に挿入し、外科手術の3D視点を提供する。
高度なディープニューラルネットワークアルゴリズムであるYOLOv8-Poseは、個々のカメラビューにおける手術器具の位置と向きを推定するように調整されている。
- 参考スコア（独自算出の注目度）: 4.112728501044346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: EasyVis2 is a system designed for hands-free, real-time 3D visualization during laparoscopic surgery. It incorporates a surgical trocar equipped with a set of micro-cameras, which are inserted into the body cavity to provide an expanded field of view and a 3D perspective of the surgical procedure. A sophisticated deep neural network algorithm, YOLOv8-Pose, is tailored to estimate the position and orientation of surgical instruments in each individual camera view. Subsequently, 3D surgical tool pose estimation is performed using associated 2D key points across multiple views. This enables the rendering of a 3D surface model of the surgical tools overlaid on the observed background scene for real-time visualization. In this study, we explain the process of developing a training dataset for new surgical tools to customize YoLOv8-Pose while minimizing labeling efforts. Extensive experiments were conducted to compare EasyVis2 with the original EasyVis, revealing that, with the same number of cameras, the new system improves 3D reconstruction accuracy and reduces computation time. Additionally, experiments with 3D rendering on real animal tissue visually demonstrated the distance between surgical tools and tissues by displaying virtual side views, indicating potential applications in real surgeries in the future.
- Abstract（参考訳）: EasyVis2は、腹腔鏡下手術時にハンズフリーでリアルタイムな3D視覚化のために設計されたシステムである。
マイクロカメラのセットを備えた手術用トロカーを体腔に挿入し、拡大した視野と外科手術の3D視点を提供する。
高度なディープニューラルネットワークアルゴリズムであるYOLOv8-Poseは、個々のカメラビューにおける手術器具の位置と向きを推定するように調整されている。
その後、複数のビューにまたがる関連する2Dキーポイントを用いて、3D手術ツールのポーズ推定を行う。
これにより、リアルタイムな可視化のために、観察された背景にオーバーレイされた手術器具の3次元表面モデルのレンダリングが可能になる。
そこで本研究では,YoLOv8-Poseをカスタマイズし,ラベル付け作業の最小化を図った。
EasyVis2とオリジナルのEasyVisを比較するために大規模な実験が行われ、同じ数のカメラで、新しいシステムは3D再構成の精度を改善し、計算時間を短縮することを示した。
さらに、実際の動物組織に3Dレンダリングを施した実験では、バーチャルサイドビューを表示することで、手術器具と組織の間の距離を視覚的に示し、将来的には実際の手術に応用できる可能性を示した。
関連論文リスト
- Ross3D: Reconstructive Visual Instruction Tuning with 3D-Awareness [73.72335146374543]
本稿では,3次元視覚指導を訓練手順に組み込んだ3次元視覚指導法(Ross3D)について紹介する。
Ross3Dは様々な3Dシーン理解ベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-04-02T16:59:55Z) - VGGT: Visual Geometry Grounded Transformer [61.37669770946458]
VGGTは、シーンのすべての重要な3D属性を直接推論するフィードフォワードニューラルネットワークである。
ネットワークは、複数の3Dタスクで最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-03-14T17:59:47Z) - MT3DNet: Multi-Task learning Network for 3D Surgical Scene Reconstruction [0.0]
画像支援最小侵襲手術(MIS)では,手術シーンの理解が外科医へのリアルタイムフィードバックに不可欠である。
この課題は、高解像度の画像で描かれた手術シーンの深さを正確に検出し、セグメンテーションし、推定することにある。
これらのタスクを同時に実行するために,Multi-Task Learning (MTL) ネットワークを提案する。
論文 参考訳（メタデータ） (2024-12-05T07:07:35Z) - MedTet: An Online Motion Model for 4D Heart Reconstruction [59.74234226055964]
本研究は, 術後の軽度データから3次元心臓運動を再構築するための新しいアプローチを提案する。
既存の方法では、フル3次元の体積像から3次元の臓器のジオメトリーを正確に再構築することができる。
このような部分的データから3次元運動を再構築するための汎用的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-03T17:18:33Z) - Advanced XR-Based 6-DOF Catheter Tracking System for Immersive Cardiac Intervention Training [37.69303106863453]
本稿では, 心内心エコー法(ICE)カテーテルのリアルタイム3次元追跡と可視化のための新しいシステムを提案する。
カスタム3Dプリントされたセットアップは、カテーテルのバイプレーンビデオをキャプチャし、特殊なコンピュータビジョンアルゴリズムは、その3D軌跡を再構築する。
システムのデータは、Meta Quest 3 XRヘッドセットを通じてレンダリングされる、インタラクティブなUnityベースの環境に統合される。
論文 参考訳（メタデータ） (2024-11-04T21:05:40Z) - SLAM assisted 3D tracking system for laparoscopic surgery [22.36252790404779]
本研究は,登録後タスクのためのリアルタイムモノクル3D追跡アルゴリズムを提案する。
in-vivoおよびex-vivoテストによる実験では、提案された3Dトラッキングシステムが堅牢な3Dトラッキングを提供することが示された。
論文 参考訳（メタデータ） (2024-09-18T04:00:54Z) - A Review of 3D Reconstruction Techniques for Deformable Tissues in Robotic Surgery [8.909938295090827]
NeRFベースの技術は、暗黙的にシーンを再構築する能力に注目が集まっている。
一方、3D-GSは3Dガウシアンを明示的に使用し、NeRFの複雑なボリュームレンダリングの代替として2D平面に投影するシーンを表現している。
この研究は、最先端のSOTA(State-of-the-art)アプローチを探求し、レビューし、彼らのイノベーションと実装原則について議論する。
論文 参考訳（メタデータ） (2024-08-08T12:51:23Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - Neural Fields for 3D Tracking of Anatomy and Surgical Instruments in Monocular Laparoscopic Video Clips [1.339950379203994]
単一2次元単眼ビデオクリップ上で全構造を同時追跡する手法を提案する。
装置のサイズが小さいため、画像のごく一部しかカバーしていないため、追跡精度が低下する。
腹腔鏡下胆嚢摘出術を施行し, 解剖学的構造は92.4%, 機器は87.4%であった。
論文 参考訳（メタデータ） (2024-03-28T09:44:20Z) - Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳（メタデータ） (2024-03-25T13:09:40Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose
Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳（メタデータ） (2023-05-05T13:42:19Z) - Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in
Robotic Surgery [18.150476919815382]
内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。
これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。
近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-06-30T13:06:27Z) - Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization
for Learning-Based Navigation in Robot-Assisted Surgery [37.14020061063255]
微小侵襲手術(MIS)における解剖情報と腹腔鏡位置の計算はロボット支援手術ナビゲーションの基本ブロックである
本稿では,複雑な解剖学的構造の3次元再構成による画像誘導腹腔鏡像の局在化を実現するための学習駆動型フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-08T06:12:18Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳（メタデータ） (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。