論文の概要: EasyVis2: A Real Time Multi-view 3D Visualization for Laparoscopic Surgery Training Enhanced by a Deep Neural Network YOLOv8-Pose
- arxiv url: http://arxiv.org/abs/2412.16742v1
- Date: Sat, 21 Dec 2024 19:26:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 15:58:33.986840
- Title: EasyVis2: A Real Time Multi-view 3D Visualization for Laparoscopic Surgery Training Enhanced by a Deep Neural Network YOLOv8-Pose
- Title（参考訳）: EasyVis2:Deep Neural Network YOLOv8-Poseによる腹腔鏡下手術訓練のためのリアルタイム多視点3D可視化
- Authors: Yung-Hong Sun, Gefei Shen, Jiangang Chen, Jayer Fernandes, Hongrui Jiang, Yu Hen Hu,
- Abstract要約: EasyVis2は、腹腔鏡下手術時にハンズフリーでリアルタイムな3D視覚化のために設計されたシステムである。
マイクロカメラのセットを備えた手術用トロカーを体内に挿入し、外科手術の3D視点を提供する。
高度なディープニューラルネットワークアルゴリズムであるYOLOv8-Poseは、個々のカメラビューにおける手術器具の位置と向きを推定するように調整されている。
- 参考スコア（独自算出の注目度）: 4.112728501044346
- License:
- Abstract: EasyVis2 is a system designed for hands-free, real-time 3D visualization during laparoscopic surgery. It incorporates a surgical trocar equipped with a set of micro-cameras, which are inserted into the body cavity to provide an expanded field of view and a 3D perspective of the surgical procedure. A sophisticated deep neural network algorithm, YOLOv8-Pose, is tailored to estimate the position and orientation of surgical instruments in each individual camera view. Subsequently, 3D surgical tool pose estimation is performed using associated 2D key points across multiple views. This enables the rendering of a 3D surface model of the surgical tools overlaid on the observed background scene for real-time visualization. In this study, we explain the process of developing a training dataset for new surgical tools to customize YoLOv8-Pose while minimizing labeling efforts. Extensive experiments were conducted to compare EasyVis2 with the original EasyVis, revealing that, with the same number of cameras, the new system improves 3D reconstruction accuracy and reduces computation time. Additionally, experiments with 3D rendering on real animal tissue visually demonstrated the distance between surgical tools and tissues by displaying virtual side views, indicating potential applications in real surgeries in the future.
- Abstract（参考訳）: EasyVis2は、腹腔鏡下手術時にハンズフリーでリアルタイムな3D視覚化のために設計されたシステムである。
マイクロカメラのセットを備えた手術用トロカーを体腔に挿入し、拡大した視野と外科手術の3D視点を提供する。
高度なディープニューラルネットワークアルゴリズムであるYOLOv8-Poseは、個々のカメラビューにおける手術器具の位置と向きを推定するように調整されている。
その後、複数のビューにまたがる関連する2Dキーポイントを用いて、3D手術ツールのポーズ推定を行う。
これにより、リアルタイムな可視化のために、観察された背景にオーバーレイされた手術器具の3次元表面モデルのレンダリングが可能になる。
そこで本研究では,YoLOv8-Poseをカスタマイズし,ラベル付け作業の最小化を図った。
EasyVis2とオリジナルのEasyVisを比較するために大規模な実験が行われ、同じ数のカメラで、新しいシステムは3D再構成の精度を改善し、計算時間を短縮することを示した。
さらに、実際の動物組織に3Dレンダリングを施した実験では、バーチャルサイドビューを表示することで、手術器具と組織の間の距離を視覚的に示し、将来的には実際の手術に応用できる可能性を示した。
関連論文リスト
- SLAM assisted 3D tracking system for laparoscopic surgery [22.36252790404779]
本研究は,登録後タスクのためのリアルタイムモノクル3D追跡アルゴリズムを提案する。
in-vivoおよびex-vivoテストによる実験では、提案された3Dトラッキングシステムが堅牢な3Dトラッキングを提供することが示された。
論文 参考訳（メタデータ） (2024-09-18T04:00:54Z) - A Review of 3D Reconstruction Techniques for Deformable Tissues in Robotic Surgery [8.909938295090827]
NeRFベースの技術は、暗黙的にシーンを再構築する能力に注目が集まっている。
一方、3D-GSは3Dガウシアンを明示的に使用し、NeRFの複雑なボリュームレンダリングの代替として2D平面に投影するシーンを表現している。
この研究は、最先端のSOTA(State-of-the-art)アプローチを探求し、レビューし、彼らのイノベーションと実装原則について議論する。
論文 参考訳（メタデータ） (2024-08-08T12:51:23Z) - Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳（メタデータ） (2024-03-25T13:09:40Z) - Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。
本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。
VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
論文 参考訳（メタデータ） (2024-03-21T06:14:46Z) - Neural LerPlane Representations for Fast 4D Reconstruction of Deformable
Tissues [52.886545681833596]
LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。
LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。
LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
論文 参考訳（メタデータ） (2023-05-31T14:38:35Z) - Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose
Estimation of Surgical Instruments [66.74633676595889]
静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。
第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。
第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
論文 参考訳（メタデータ） (2023-05-05T13:42:19Z) - Self-Supervised Surgical Instrument 3D Reconstruction from a Single
Camera Image [0.0]
正確な3D手術器具モデルは、楽器のポーズと深さを正確に予測するための前提条件である。
近年の1次元3次元再構成法は, 自然物復元にのみ用いられている。
本稿では, 外科用器具の自己管理型再建システムを提案する。
論文 参考訳（メタデータ） (2022-11-26T03:21:31Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳（メタデータ） (2022-07-22T17:41:24Z) - Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in
Robotic Surgery [18.150476919815382]
内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。
これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。
近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-06-30T13:06:27Z) - Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization
for Learning-Based Navigation in Robot-Assisted Surgery [37.14020061063255]
微小侵襲手術(MIS)における解剖情報と腹腔鏡位置の計算はロボット支援手術ナビゲーションの基本ブロックである
本稿では,複雑な解剖学的構造の3次元再構成による画像誘導腹腔鏡像の局在化を実現するための学習駆動型フレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-08T06:12:18Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳（メタデータ） (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。