論文の概要: Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in
Robotic Surgery
- arxiv url: http://arxiv.org/abs/2206.15255v1
- Date: Thu, 30 Jun 2022 13:06:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 14:44:26.903448
- Title: Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in
Robotic Surgery
- Title(参考訳): 変形性組織の立体3次元再構成のための神経レンダリング
- Authors: Yuehao Wang, Yonghao Long, Siu Hin Fan, Qi Dou
- Abstract要約: 内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。
これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。
近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
- 参考スコア(独自算出の注目度): 18.150476919815382
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Reconstruction of the soft tissues in robotic surgery from endoscopic stereo
videos is important for many applications such as intra-operative navigation
and image-guided robotic surgery automation. Previous works on this task mainly
rely on SLAM-based approaches, which struggle to handle complex surgical
scenes. Inspired by recent progress in neural rendering, we present a novel
framework for deformable tissue reconstruction from binocular captures in
robotic surgery under the single-viewpoint setting. Our framework adopts
dynamic neural radiance fields to represent deformable surgical scenes in MLPs
and optimize shapes and deformations in a learning-based manner. In addition to
non-rigid deformations, tool occlusion and poor 3D clues from a single
viewpoint are also particular challenges in soft tissue reconstruction. To
overcome these difficulties, we present a series of strategies of tool
mask-guided ray casting, stereo depth-cueing ray marching and stereo
depth-supervised optimization. With experiments on DaVinci robotic surgery
videos, our method significantly outperforms the current state-of-the-art
reconstruction method for handling various complex non-rigid deformations. To
our best knowledge, this is the first work leveraging neural rendering for
surgical scene 3D reconstruction with remarkable potential demonstrated. Code
is available at: https://github.com/med-air/EndoNeRF.
- Abstract(参考訳): 内視鏡的ステレオ映像からのロボット手術における軟部組織の再構築は,術中ナビゲーションや画像誘導型ロボット手術自動化など,多くの応用において重要である。
これまでの作業は主に、複雑な手術シーンを扱うのに苦労するslamベースのアプローチに依存している。
近年のニューラルレンダリングの進歩に触発されて,ロボット手術における双眼鏡による変形性組織再構成のための新しい枠組みを提案する。
本フレームワークでは,MLPにおける変形可能な手術シーンを動的に表現し,形状や変形を学習ベースで最適化する。
非剛性変形に加え、ツール・オクルージョンと単一視点からの3D手がかりは軟部組織再構築における特別な課題である。
これらの課題を克服するため,ツールマスク誘導型レイキャスティング,ステレオ深度誘導型レイマーチ,ステレオ深度監視型最適化の一連の戦略を提示する。
davinciロボット手術ビデオを用いた実験では, 複雑な非剛性変形を扱うため, 現状の再構築法を有意に上回っている。
手術シーンの3D再構成にニューラルレンダリングを応用した初めての作品であり,その可能性も顕著である。
コードは、https://github.com/med-air/EndoNeRF.comで入手できる。
関連論文リスト
- EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian
Splatting [22.090899434775395]
変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
論文 参考訳(メタデータ) (2024-01-21T16:14:04Z) - Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane [58.871015937204255]
変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。
我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。
この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
論文 参考訳(メタデータ) (2023-12-23T13:27:50Z) - BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction
using Neural Radiance Fields [6.5628505052520865]
内視鏡的映像から変形可能なシーンを再現することは,多くの応用において重要である。
我々の研究は、シーンの3D暗黙的表現を学習するために、NeRF(Neural Radiance Fields)アプローチを採用しています。
本稿では,ロボット手術の内視鏡的手術シーンについて述べる。
論文 参考訳(メタデータ) (2023-09-27T00:20:36Z) - SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene
Reconstruction by Neural Radiance Field (NeRF) [4.740415113160021]
本稿では,Segment Anything Model(SAM)とNeRF技術を組み合わせたSAMSNeRFという新しい手法を提案する。
内視鏡下外科的画像を用いた実験の結果,高忠実度ダイナミックな手術シーンの再構築に成功していることが示された。
論文 参考訳(メタデータ) (2023-08-22T20:31:00Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-07-31T17:59:42Z) - Neural LerPlane Representations for Fast 4D Reconstruction of Deformable
Tissues [52.886545681833596]
LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。
LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。
LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
論文 参考訳(メタデータ) (2023-05-31T14:38:35Z) - NeuRIS: Neural Reconstruction of Indoor Scenes Using Normal Priors [84.66706400428303]
室内シーンを高品質に再現する新手法NeuRISを提案する。
NeuRISは、ニューラルネットワークのフレームワークにおいて、室内シーンの推定正規性を前者として統合している。
実験により、NeuRISは再建品質の点で最先端の手法を著しく上回っていることが示された。
論文 参考訳(メタデータ) (2022-06-27T19:22:03Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:59:53Z) - Stereo Dense Scene Reconstruction and Accurate Laparoscope Localization
for Learning-Based Navigation in Robot-Assisted Surgery [37.14020061063255]
微小侵襲手術(MIS)における解剖情報と腹腔鏡位置の計算はロボット支援手術ナビゲーションの基本ブロックである
本稿では,複雑な解剖学的構造の3次元再構成による画像誘導腹腔鏡像の局在化を実現するための学習駆動型フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T06:12:18Z) - E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with
Transformer-based Stereoscopic Depth Perception [15.927060244702686]
28 fpsの高ダイナミックな手術シーンに対して,効率的な再建パイプラインを提案する。
具体的には,効率的な深度推定のための変圧器を用いた立体視深度知覚を設計する。
提案したパイプラインを,公開Hamlyn Centre内視鏡ビデオデータセットと社内のDaVinciロボット手術データセットの2つのデータセットで評価した。
論文 参考訳(メタデータ) (2021-07-01T05:57:41Z) - Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face
Reconstruction [76.1612334630256]
我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。
3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
論文 参考訳(メタデータ) (2021-05-16T16:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。