論文の概要: Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in Robotic Surgery

• arxiv url: http://arxiv.org/abs/2206.15255v1
• Date: Thu, 30 Jun 2022 13:06:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 14:44:26.903448
• Title: Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in Robotic Surgery
• Title（参考訳）: 変形性組織の立体3次元再構成のための神経レンダリング
• Authors: Yuehao Wang, Yonghao Long, Siu Hin Fan, Qi Dou
• Abstract要約: 内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。 これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。 近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 18.150476919815382
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reconstruction of the soft tissues in robotic surgery from endoscopic stereo videos is important for many applications such as intra-operative navigation and image-guided robotic surgery automation. Previous works on this task mainly rely on SLAM-based approaches, which struggle to handle complex surgical scenes. Inspired by recent progress in neural rendering, we present a novel framework for deformable tissue reconstruction from binocular captures in robotic surgery under the single-viewpoint setting. Our framework adopts dynamic neural radiance fields to represent deformable surgical scenes in MLPs and optimize shapes and deformations in a learning-based manner. In addition to non-rigid deformations, tool occlusion and poor 3D clues from a single viewpoint are also particular challenges in soft tissue reconstruction. To overcome these difficulties, we present a series of strategies of tool mask-guided ray casting, stereo depth-cueing ray marching and stereo depth-supervised optimization. With experiments on DaVinci robotic surgery videos, our method significantly outperforms the current state-of-the-art reconstruction method for handling various complex non-rigid deformations. To our best knowledge, this is the first work leveraging neural rendering for surgical scene 3D reconstruction with remarkable potential demonstrated. Code is available at: https://github.com/med-air/EndoNeRF.
• Abstract（参考訳）: 内視鏡的ステレオ映像からのロボット手術における軟部組織の再構築は,術中ナビゲーションや画像誘導型ロボット手術自動化など,多くの応用において重要である。 これまでの作業は主に、複雑な手術シーンを扱うのに苦労するslamベースのアプローチに依存している。 近年のニューラルレンダリングの進歩に触発されて,ロボット手術における双眼鏡による変形性組織再構成のための新しい枠組みを提案する。 本フレームワークでは,MLPにおける変形可能な手術シーンを動的に表現し,形状や変形を学習ベースで最適化する。 非剛性変形に加え、ツール・オクルージョンと単一視点からの3D手がかりは軟部組織再構築における特別な課題である。 これらの課題を克服するため,ツールマスク誘導型レイキャスティング,ステレオ深度誘導型レイマーチ,ステレオ深度監視型最適化の一連の戦略を提示する。 davinciロボット手術ビデオを用いた実験では, 複雑な非剛性変形を扱うため, 現状の再構築法を有意に上回っている。 手術シーンの3D再構成にニューラルレンダリングを応用した初めての作品であり,その可能性も顕著である。 コードは、https://github.com/med-air/EndoNeRF.comで入手できる。

関連論文リスト

• Intraoperative Registration by Cross-Modal Inverse Neural Rendering [61.687068931599846]
  クロスモーダル逆ニューラルレンダリングによる神経外科手術における術中3D/2Dレジストレーションのための新しいアプローチを提案する。 本手法では,暗黙の神経表現を2つの構成要素に分離し,術前および術中における解剖学的構造について検討した。 臨床症例の振り返りデータを用いて本法の有効性を検証し,現在の登録基準を満たした状態での最先端の検査成績を示した。
  論文  参考訳（メタデータ） (2024-09-18T13:40:59Z)
• A Review of 3D Reconstruction Techniques for Deformable Tissues in Robotic Surgery [8.909938295090827]
  NeRFベースの技術は、暗黙的にシーンを再構築する能力に注目が集まっている。 一方、3D-GSは3Dガウシアンを明示的に使用し、NeRFの複雑なボリュームレンダリングの代替として2D平面に投影するシーンを表現している。 この研究は、最先端のSOTA(State-of-the-art)アプローチを探求し、レビューし、彼らのイノベーションと実装原則について議論する。
  論文  参考訳（メタデータ） (2024-08-08T12:51:23Z)
• SurgicalGaussian: Deformable 3D Gaussians for High-Fidelity Surgical Scene Reconstruction [17.126895638077574]
  内視鏡的ビデオにおける変形性組織の動的再構成は、ロボット支援手術の鍵となる技術である。 NeRFは、シーン内のオブジェクトの複雑な詳細をキャプチャするのに苦労します。 我々のネットワークは、レンダリング品質、レンダリング速度、GPU使用率など、多くの面で既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-06T09:31:30Z)
• Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting [20.147880388740287]
  この研究は、内視鏡手術中に変形可能な組織に対して、Deform3DGSと呼ばれる新しい高速再構築フレームワークを提示する。 リアルタイム3Dレンダリングの新技術である3D Gaussian Splattingを,ポイントクラウドを統合して手術シーンに導入する。 また,個々のガウスレベルにおける組織変形動態を学習するためのフレキシブルな変形モデリング手法 (FDM) を提案する。
  論文  参考訳（メタデータ） (2024-05-28T05:14:57Z)
• Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
  手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。 脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。 5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
  論文  参考訳（メタデータ） (2024-03-25T13:09:40Z)
• FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
  内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。 変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。 複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。 これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
  論文  参考訳（メタデータ） (2024-03-18T19:13:02Z)
• BASED: Bundle-Adjusting Surgical Endoscopic Dynamic Video Reconstruction using Neural Radiance Fields [5.773068487121897]
  内視鏡的映像から変形可能なシーンを再現することは,多くの応用において重要である。 我々の研究は、シーンの3D暗黙的表現を学習するために、NeRF(Neural Radiance Fields)アプローチを採用しています。 本稿では,ロボット手術の内視鏡的手術シーンについて述べる。
  論文  参考訳（メタデータ） (2023-09-27T00:20:36Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Neural LerPlane Representations for Fast 4D Reconstruction of Deformable Tissues [52.886545681833596]
  LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。 LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。 LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
  論文  参考訳（メタデータ） (2023-05-31T14:38:35Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with Transformer-based Stereoscopic Depth Perception [15.927060244702686]
  28 fpsの高ダイナミックな手術シーンに対して,効率的な再建パイプラインを提案する。 具体的には,効率的な深度推定のための変圧器を用いた立体視深度知覚を設計する。 提案したパイプラインを,公開Hamlyn Centre内視鏡ビデオデータセットと社内のDaVinciロボット手術データセットの2つのデータセットで評価した。
  論文  参考訳（メタデータ） (2021-07-01T05:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。