論文の概要: Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2405.17835v2
- Date: Wed, 29 May 2024 06:25:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 11:12:33.904035
- Title: Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting
- Title（参考訳）: Deform3DGS: Gassian Splatting を用いた高速手術シーン再構成のためのフレキシブル変形
- Authors: Shuojue Yang, Qian Li, Daiyun Shen, Bingchen Gong, Qi Dou, Yueming Jin,
- Abstract要約: 内視鏡下手術における変形性組織に対する新しい高速再建フレームワークであるDeform3DGSを提案する。
また,組織変形力学を学習するためのフレキシブルな変形モデリング手法 (FDM) を提案する。
我々のFDMは、効率的な表現で表面の変形をモデル化することができ、リアルタイムなレンダリング性能を実現することができる。
- 参考スコア（独自算出の注目度）: 20.147880388740287
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tissue deformation poses a key challenge for accurate surgical scene reconstruction. Despite yielding high reconstruction quality, existing methods suffer from slow rendering speeds and long training times, limiting their intraoperative applicability. Motivated by recent progress in 3D Gaussian Splatting, an emerging technology in real-time 3D rendering, this work presents a novel fast reconstruction framework, termed Deform3DGS, for deformable tissues during endoscopic surgery. Specifically, we introduce 3D GS into surgical scenes by integrating a point cloud initialization to improve reconstruction. Furthermore, we propose a novel flexible deformation modeling scheme (FDM) to learn tissue deformation dynamics at the level of individual Gaussians. Our FDM can model the surface deformation with efficient representations, allowing for real-time rendering performance. More importantly, FDM significantly accelerates surgical scene reconstruction, demonstrating considerable clinical values, particularly in intraoperative settings where time efficiency is crucial. Experiments on DaVinci robotic surgery videos indicate the efficacy of our approach, showcasing superior reconstruction fidelity PSNR: (37.90) and rendering speed (338.8 FPS) while substantially reducing training time to only 1 minute/scene.
- Abstract（参考訳）: 組織変形は正確な手術シーンの再構築に重要な課題となる。
再現性が高いにもかかわらず、既存の手法ではレンダリング速度が遅く、訓練時間が長く、術中適用性が制限されている。
リアルタイム3Dレンダリングの新技術である3D Gaussian Splattingの最近の進歩に触発された本研究は、内視鏡手術中に変形可能な組織に対して、Deform3DGSと呼ばれる新しい高速再構築フレームワークを提示する。
具体的には3D GSを点雲初期化を統合して再現性を向上させることで手術シーンに導入する。
さらに,個々のガウスレベルにおける組織変形動態を学習するためのフレキシブルな変形モデリング手法 (FDM) を提案する。
我々のFDMは、効率的な表現で表面の変形をモデル化することができ、リアルタイムなレンダリング性能を実現することができる。
さらに重要なことは、FDMは外科的シーンの再構築を著しく加速し、特に時間効率が重要となる術中環境において、かなりの臨床的価値を示すことである。
DaVinciのロボット手術ビデオを用いた実験では, 再現率の優れたPSNR (37.90) とレンダリング速度 (338.8 FPS) を示すとともに, トレーニング時間を1分/秒に短縮した。
関連論文リスト
- SurgicalGaussian: Deformable 3D Gaussians for High-Fidelity Surgical Scene Reconstruction [17.126895638077574]
内視鏡的ビデオにおける変形性組織の動的再構成は、ロボット支援手術の鍵となる技術である。
NeRFは、シーン内のオブジェクトの複雑な詳細をキャプチャするのに苦労します。
我々のネットワークは、レンダリング品質、レンダリング速度、GPU使用率など、多くの面で既存の手法よりも優れています。
論文 参考訳（メタデータ） (2024-07-06T09:31:30Z) - Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。
複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。
また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
論文 参考訳（メタデータ） (2024-06-05T06:06:03Z) - HFGS: 4D Gaussian Splatting with Emphasis on Spatial and Temporal High-Frequency Components for Endoscopic Scene Reconstruction [13.012536387221669]
ロボット支援による最小侵襲手術は、手術結果を改善するため、動的シーン再構築の強化による恩恵を受ける。
NeRFはシーン再構成に有効だが、推論速度の遅さとトレーニング期間の長いため適用性が制限されている。
3D Gaussian Splatting (3D-GS) ベースの手法が最近のトレンドとして現れ、高速な推論機能と優れた3D品質を提供する。
空間的および時間的周波数の観点からこれらの課題に対処する,変形可能な内視鏡再建のための新しいアプローチであるHFGSを提案する。
論文 参考訳（メタデータ） (2024-05-28T06:48:02Z) - Creating a Digital Twin of Spinal Surgery: A Proof of Concept [68.37190859183663]
手術デジタル化は、現実世界の手術の仮想レプリカを作成するプロセスである。
脊椎外科手術に応用した手術デジタル化のための概念実証(PoC)を提案する。
5台のRGB-Dカメラを外科医の動的3D再構成に、ハイエンドカメラを解剖学の3D再構成に、赤外線ステレオカメラを手術器具追跡に、レーザースキャナーを手術室の3D再構成とデータ融合に使用した。
論文 参考訳（メタデータ） (2024-03-25T13:09:40Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z) - EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction [36.35631592019182]
3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
論文 参考訳（メタデータ） (2024-01-23T08:44:26Z) - EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting [20.848027172010358]
変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
論文 参考訳（メタデータ） (2024-01-21T16:14:04Z) - Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane [58.871015937204255]
変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。
我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。
この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
論文 参考訳（メタデータ） (2023-12-23T13:27:50Z) - Neural LerPlane Representations for Fast 4D Reconstruction of Deformable
Tissues [52.886545681833596]
LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。
LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。
LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
論文 参考訳（メタデータ） (2023-05-31T14:38:35Z) - Fast-SNARF: A Fast Deformer for Articulated Neural Fields [92.68788512596254]
本稿では,標準空間とポーズ空間の正確な対応性を求める,ニューラルフィールドのための新しい調音モジュールFast-SNARFを提案する。
Fast-SNARFはこれまでの研究であるSNARFの代替であり、計算効率は大幅に向上した。
変形マップの学習は多くの3次元人間のアバター法において重要な要素であるため、この研究は3次元仮想人間の実現に向けた重要なステップであると考えている。
論文 参考訳（メタデータ） (2022-11-28T17:55:34Z) - Neural Rendering for Stereo 3D Reconstruction of Deformable Tissues in
Robotic Surgery [18.150476919815382]
内視鏡的ステレオビデオを用いたロボット手術における軟部組織の再構築は,多くの応用において重要である。
これまでの作業は主に、複雑な手術シーンを扱うのに苦労するSLAMベースのアプローチに依存していた。
近年の神経レンダリングの進歩に触発されて,変形性組織再構築のための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2022-06-30T13:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。