論文の概要: EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction
- arxiv url: http://arxiv.org/abs/2401.12561v2
- Date: Tue, 13 Feb 2024 13:40:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 18:29:47.277477
- Title: EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene
Reconstruction
- Title（参考訳）: EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene Reconstruction
- Authors: Yifan Liu, Chenxin Li, Chen Yang, Yixuan Yuan
- Abstract要約: 3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。
我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。
公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
- 参考スコア（独自算出の注目度）: 36.35631592019182
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Reconstructing deformable tissues from endoscopic videos is essential in many
downstream surgical applications. However, existing methods suffer from slow
rendering speed, greatly limiting their practical use. In this paper, we
introduce EndoGaussian, a real-time endoscopic scene reconstruction framework
built on 3D Gaussian Splatting (3DGS). By integrating the efficient Gaussian
representation and highly-optimized rendering engine, our framework
significantly boosts the rendering speed to a real-time level. To adapt 3DGS
for endoscopic scenes, we propose two strategies, Holistic Gaussian
Initialization (HGI) and Spatio-temporal Gaussian Tracking (SGT), to handle the
non-trivial Gaussian initialization and tissue deformation problems,
respectively. In HGI, we leverage recent depth estimation models to predict
depth maps of input binocular/monocular image sequences, based on which pixels
are re-projected and combined for holistic initialization. In SPT, we propose
to model surface dynamics using a deformation field, which is composed of an
efficient encoding voxel and a lightweight deformation decoder, allowing for
Gaussian tracking with minor training and rendering burden. Experiments on
public datasets demonstrate our efficacy against prior SOTAs in many aspects,
including better rendering speed (195 FPS real-time, 100$\times$ gain), better
rendering quality (37.848 PSNR), and less training overhead (within 2
min/scene), showing significant promise for intraoperative surgery
applications. Code is available at:
\url{https://yifliu3.github.io/EndoGaussian/}.
- Abstract（参考訳）: 内視鏡的ビデオから変形可能な組織を再構築することは,多くの下流手術において不可欠である。
しかし、既存の手法はレンダリング速度が遅く、実用性が大幅に制限されている。
本稿では,3次元ガウススティング(3DGS)上に構築されたリアルタイムの内視鏡的シーン再構築フレームワークであるEndoGaussianを紹介する。
効率的なガウス表現と高度に最適化されたレンダリングエンジンを統合することで、我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させる。
内視鏡的シーンに3DGSを適用するために,非自明なガウス初期化と組織変形問題を扱うために,ホロスティックガウス初期化(HGI)と時空間ガウス追跡(SGT)の2つの戦略を提案する。
HGIでは,直近の深度推定モデルを用いて,入力された両眼/眼球画像列の深度マップを,どのピクセルが再投影され,組み合わせられて全体初期化されるかに基づいて予測する。
SPTでは、効率的な符号化ボクセルと軽量な変形デコーダから構成される変形場を用いて表面力学をモデル化し、ガウス的追跡を微調整とレンダリングの負担で行うことを提案する。
公開データセットの実験では、レンダリング速度の向上(195 FPSリアルタイム、100$\times$ gain)、レンダリング品質の向上(37.848 PSNR)、トレーニングオーバーヘッドの低減(2分/秒)など、多くの面で従来のSOTAに対する有効性を示している。
コードは \url{https://yifliu3.github.io/endogaussian/} で入手できる。
関連論文リスト
- Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction [36.46068581419659]
手術シーンのリアルタイム3D再構成は,コンピュータ支援手術において重要な役割を担っている。
近年の3次元ガウススプラッティングの進歩は、リアルタイムな新規なビュー合成に大きな可能性を示している。
外科的シーン再構成のためのSfMフリー3DGS法を提案する。
論文 参考訳（メタデータ） (2024-07-03T08:49:35Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。
本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
論文 参考訳（メタデータ） (2024-05-31T08:39:02Z) - LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。
実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
論文 参考訳（メタデータ） (2024-05-29T05:58:34Z) - Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting [20.147880388740287]
この研究は、内視鏡手術中に変形可能な組織に対して、Deform3DGSと呼ばれる新しい高速再構築フレームワークを提示する。
リアルタイム3Dレンダリングの新技術である3D Gaussian Splattingを,ポイントクラウドを統合して手術シーンに導入する。
また,個々のガウスレベルにおける組織変形動態を学習するためのフレキシブルな変形モデリング手法 (FDM) を提案する。
論文 参考訳（メタデータ） (2024-05-28T05:14:57Z) - MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo [54.00987996368157]
MVSGaussianは、Multi-View Stereo(MVS)から導かれる新しい一般化可能な3次元ガウス表現手法である。
MVSGaussianは、シーンごとにより良い合成品質でリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2024-05-20T17:59:30Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳（メタデータ） (2024-03-28T15:27:13Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳（メタデータ） (2024-02-22T16:00:20Z) - Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting [12.333523732756163]
動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。
NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。
本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
論文 参考訳（メタデータ） (2024-01-29T18:55:29Z) - EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting [20.848027172010358]
変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
論文 参考訳（メタデータ） (2024-01-21T16:14:04Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。