論文の概要: EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2401.12561v2
• Date: Tue, 13 Feb 2024 13:40:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 18:29:47.277477
• Title: EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene Reconstruction
• Title（参考訳）: EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene Reconstruction
• Authors: Yifan Liu, Chenxin Li, Chen Yang, Yixuan Yuan
• Abstract要約: 3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。 我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。 公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
• 参考スコア（独自算出の注目度）: 36.35631592019182
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reconstructing deformable tissues from endoscopic videos is essential in many downstream surgical applications. However, existing methods suffer from slow rendering speed, greatly limiting their practical use. In this paper, we introduce EndoGaussian, a real-time endoscopic scene reconstruction framework built on 3D Gaussian Splatting (3DGS). By integrating the efficient Gaussian representation and highly-optimized rendering engine, our framework significantly boosts the rendering speed to a real-time level. To adapt 3DGS for endoscopic scenes, we propose two strategies, Holistic Gaussian Initialization (HGI) and Spatio-temporal Gaussian Tracking (SGT), to handle the non-trivial Gaussian initialization and tissue deformation problems, respectively. In HGI, we leverage recent depth estimation models to predict depth maps of input binocular/monocular image sequences, based on which pixels are re-projected and combined for holistic initialization. In SPT, we propose to model surface dynamics using a deformation field, which is composed of an efficient encoding voxel and a lightweight deformation decoder, allowing for Gaussian tracking with minor training and rendering burden. Experiments on public datasets demonstrate our efficacy against prior SOTAs in many aspects, including better rendering speed (195 FPS real-time, 100$\times$ gain), better rendering quality (37.848 PSNR), and less training overhead (within 2 min/scene), showing significant promise for intraoperative surgery applications. Code is available at: \url{https://yifliu3.github.io/EndoGaussian/}.
• Abstract（参考訳）: 内視鏡的ビデオから変形可能な組織を再構築することは,多くの下流手術において不可欠である。 しかし、既存の手法はレンダリング速度が遅く、実用性が大幅に制限されている。 本稿では,3次元ガウススティング(3DGS)上に構築されたリアルタイムの内視鏡的シーン再構築フレームワークであるEndoGaussianを紹介する。 効率的なガウス表現と高度に最適化されたレンダリングエンジンを統合することで、我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させる。 内視鏡的シーンに3DGSを適用するために,非自明なガウス初期化と組織変形問題を扱うために,ホロスティックガウス初期化(HGI)と時空間ガウス追跡(SGT)の2つの戦略を提案する。 HGIでは,直近の深度推定モデルを用いて,入力された両眼/眼球画像列の深度マップを,どのピクセルが再投影され,組み合わせられて全体初期化されるかに基づいて予測する。 SPTでは、効率的な符号化ボクセルと軽量な変形デコーダから構成される変形場を用いて表面力学をモデル化し、ガウス的追跡を微調整とレンダリングの負担で行うことを提案する。 公開データセットの実験では、レンダリング速度の向上(195 FPSリアルタイム、100$\times$ gain)、レンダリング品質の向上(37.848 PSNR)、トレーニングオーバーヘッドの低減(2分/秒)など、多くの面で従来のSOTAに対する有効性を示している。 コードは \url{https://yifliu3.github.io/endogaussian/} で入手できる。

関連論文リスト

• Speedy-Splat: Fast 3D Gaussian Splatting with Sparse Pixels and Sparse Primitives [60.217580865237835]
  3D Gaussian Splatting (3D-GS)は、3D Gaussian のパラメトリック点雲としてシーンをモデル化することで、新しいビューをリアルタイムにレンダリングすることのできる最近の3Dシーン再構築技術である。 3D-GSでは,レンダリング速度,モデルサイズ,トレーニング時間の大幅な改善を実現し,2つの重要な非効率性に対処する。 我々のSpeedy-Splatアプローチはこれらのテクニックを組み合わせることで、Mip-NeRF 360、Tamps & Temples、Deep Blendingのデータセットから、平均レンダリング速度を6.71ドル(約6万6000円)で加速します。
  論文  参考訳（メタデータ） (2024-11-30T20:25:56Z)
• CaRtGS: Computational Alignment for Real-Time Gaussian Splatting SLAM [2.894006173981735]
  リアルタイムガウス切削SLAM(CaRtGS)の計算アライメントについて紹介する。 CaRtGSは、リアルタイム環境における光リアルなシーン再構築の効率性と品質を向上させる新しい手法である。 本手法は適応戦略によりガウススティングSLAM(GS-SLAM)の計算ミスアライメントに対処する。
  論文  参考訳（メタデータ） (2024-10-01T08:18:12Z)
• Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction [36.46068581419659]
  手術シーンのリアルタイム3D再構成は,コンピュータ支援手術において重要な役割を担っている。 近年の3次元ガウススプラッティングの進歩は、リアルタイムな新規なビュー合成に大きな可能性を示している。 外科的シーン再構成のためのSfMフリー3DGS法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T08:49:35Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。 また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
  3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。 本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
  論文  参考訳（メタデータ） (2024-05-31T08:39:02Z)
• LP-3DGS: Learning to Prune 3D Gaussian Splatting [71.97762528812187]
  本稿では,トレーニング可能な2値マスクを重要度に応用し,最適プルーニング比を自動的に検出する3DGSを提案する。 実験の結果,LP-3DGSは効率と高品質の両面において良好なバランスを保っていることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T05:58:34Z)
• CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
  2次元画像空間で制御できる構造付きガウス表現を導入する。 次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。 我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
  論文  参考訳（メタデータ） (2024-03-28T15:27:13Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting [12.333523732756163]
  動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。 NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。 本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
  論文  参考訳（メタデータ） (2024-01-29T18:55:29Z)
• EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting [20.848027172010358]
  変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。 提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。 結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
  論文  参考訳（メタデータ） (2024-01-21T16:14:04Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。