論文の概要: EndoGaussian: Gaussian Splatting for Deformable Surgical Scene
Reconstruction
- arxiv url: http://arxiv.org/abs/2401.12561v1
- Date: Tue, 23 Jan 2024 08:44:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 16:34:04.873080
- Title: EndoGaussian: Gaussian Splatting for Deformable Surgical Scene
Reconstruction
- Title（参考訳）: EndoGaussian: 変形性手術シーン再建のためのGaussian Splatting
- Authors: Yifan Liu, Chenxin Li, Chen Yang, Yixuan Yuan
- Abstract要約: 本稿では,リアルタイムの手術シーン再構築フレームワークであるEndoGaussianを紹介する。
本フレームワークは, 動的手術シーンを標準ガウスおよび時間依存性変形場として表現する。
提案手法は,最先端の復元品質を維持しつつ,リアルタイムレンダリング速度(195 FPS, 100$times$ gain)を実現する。
- 参考スコア（独自算出の注目度）: 36.35631592019182
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Reconstructing deformable tissues from endoscopic stereo videos is essential
in many downstream surgical applications. However, existing methods suffer from
slow inference speed, which greatly limits their practical use. In this paper,
we introduce EndoGaussian, a real-time surgical scene reconstruction framework
that builds on 3D Gaussian Splatting. Our framework represents dynamic surgical
scenes as canonical Gaussians and a time-dependent deformation field, which
predicts Gaussian deformations at novel timestamps. Due to the efficient
Gaussian representation and parallel rendering pipeline, our framework
significantly accelerates the rendering speed compared to previous methods. In
addition, we design the deformation field as the combination of a lightweight
encoding voxel and an extremely tiny MLP, allowing for efficient Gaussian
tracking with a minor rendering burden. Furthermore, we design a holistic
Gaussian initialization method to fully leverage the surface distribution
prior, achieved by searching informative points from across the input image
sequence. Experiments on public endoscope datasets demonstrate that our method
can achieve real-time rendering speed (195 FPS real-time, 100$\times$ gain)
while maintaining the state-of-the-art reconstruction quality (35.925 PSNR) and
the fastest training speed (within 2 min/scene), showing significant promise
for intraoperative surgery applications. Code is available at:
\url{https://yifliu3.github.io/EndoGaussian/}.
- Abstract（参考訳）: 内視鏡的ステレオ映像から変形可能な組織を再構成することは,多くの下流手術において不可欠である。
しかし、既存の手法では推論速度が遅く、実用性を大幅に制限している。
本稿では,3次元ガウススプラッティングに基づくリアルタイム手術シーン再構築フレームワークであるEndoGaussianを紹介する。
本手法は,新しいタイムスタンプでガウス変形を予測できる標準ガウス変形場と時間依存変形場として動的手術場面を表現する。
効率的なガウス表現と並列レンダリングパイプラインにより,従来の手法に比べてレンダリング速度が大幅に向上した。
さらに, 軽量符号化ボクセルと極端に小型なmlpの組み合わせとして変形場を設計し, 少ないレンダリング負荷で効率的なガウス追跡を可能にした。
さらに,入力画像列から情報点を探索することで得られる表面分布を十分に活用する,全体論的ガウス初期化法を設計する。
公開内視鏡データセットを用いた実験により,術中手術におけるリアルタイムレンダリング速度 (195 FPS, 100$\times$ gain) を実現するとともに, 最先端の再建品質 (35.925 PSNR) と最速トレーニング速度 (2min/scene) を維持でき, 術中手術応用に有意な期待が得られた。
コードは \url{https://yifliu3.github.io/endogaussian/} で入手できる。
関連論文リスト
- Speedy-Splat: Fast 3D Gaussian Splatting with Sparse Pixels and Sparse Primitives [60.217580865237835]
3D Gaussian Splatting (3D-GS)は、3D Gaussian のパラメトリック点雲としてシーンをモデル化することで、新しいビューをリアルタイムにレンダリングすることのできる最近の3Dシーン再構築技術である。
3D-GSでは,レンダリング速度,モデルサイズ,トレーニング時間の大幅な改善を実現し,2つの重要な非効率性に対処する。
我々のSpeedy-Splatアプローチはこれらのテクニックを組み合わせることで、Mip-NeRF 360、Tamps & Temples、Deep Blendingのデータセットから、平均レンダリング速度を6.71ドル(約6万6000円)で加速します。
論文 参考訳（メタデータ） (2024-11-30T20:25:56Z) - CaRtGS: Computational Alignment for Real-Time Gaussian Splatting SLAM [2.894006173981735]
リアルタイムガウス切削SLAM(CaRtGS)の計算アライメントについて紹介する。
CaRtGSは、リアルタイム環境における光リアルなシーン再構築の効率性と品質を向上させる新しい手法である。
本手法は適応戦略によりガウススティングSLAM(GS-SLAM)の計算ミスアライメントに対処する。
論文 参考訳（メタデータ） (2024-10-01T08:18:12Z) - Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction [36.46068581419659]
手術シーンのリアルタイム3D再構成は,コンピュータ支援手術において重要な役割を担っている。
近年の3次元ガウススプラッティングの進歩は、リアルタイムな新規なビュー合成に大きな可能性を示している。
外科的シーン再構成のためのSfMフリー3DGS法を提案する。
論文 参考訳（メタデータ） (2024-07-03T08:49:35Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。
また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。
本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
論文 参考訳（メタデータ） (2024-05-31T08:39:02Z) - LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。
実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
論文 参考訳（メタデータ） (2024-05-29T05:58:34Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳（メタデータ） (2024-03-28T15:27:13Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳（メタデータ） (2024-02-22T16:00:20Z) - Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting [12.333523732756163]
動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。
NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。
本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
論文 参考訳（メタデータ） (2024-01-29T18:55:29Z) - EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting [20.848027172010358]
変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
論文 参考訳（メタデータ） (2024-01-21T16:14:04Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。