論文の概要: Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2407.02918v1
• Date: Wed, 3 Jul 2024 08:49:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 14:55:24.650828
• Title: Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction
• Title（参考訳）: Free-SurGS: SfM-free 3D Gaussian Splatting
• Authors: Jiaxin Guo, Jiangliu Wang, Di Kang, Wenzhen Dong, Wenting Wang, Yun-hui Liu,
• Abstract要約: 手術シーンのリアルタイム3D再構成は,コンピュータ支援手術において重要な役割を担っている。 近年の3次元ガウススプラッティングの進歩は、リアルタイムな新規なビュー合成に大きな可能性を示している。 外科的シーン再構成のためのSfMフリー3DGS法を提案する。
• 参考スコア（独自算出の注目度）: 36.46068581419659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time 3D reconstruction of surgical scenes plays a vital role in computer-assisted surgery, holding a promise to enhance surgeons' visibility. Recent advancements in 3D Gaussian Splatting (3DGS) have shown great potential for real-time novel view synthesis of general scenes, which relies on accurate poses and point clouds generated by Structure-from-Motion (SfM) for initialization. However, 3DGS with SfM fails to recover accurate camera poses and geometry in surgical scenes due to the challenges of minimal textures and photometric inconsistencies. To tackle this problem, in this paper, we propose the first SfM-free 3DGS-based method for surgical scene reconstruction by jointly optimizing the camera poses and scene representation. Based on the video continuity, the key of our method is to exploit the immediate optical flow priors to guide the projection flow derived from 3D Gaussians. Unlike most previous methods relying on photometric loss only, we formulate the pose estimation problem as minimizing the flow loss between the projection flow and optical flow. A consistency check is further introduced to filter the flow outliers by detecting the rigid and reliable points that satisfy the epipolar geometry. During 3D Gaussian optimization, we randomly sample frames to optimize the scene representations to grow the 3D Gaussian progressively. Experiments on the SCARED dataset demonstrate our superior performance over existing methods in novel view synthesis and pose estimation with high efficiency. Code is available at https://github.com/wrld/Free-SurGS.
• Abstract（参考訳）: 手術シーンのリアルタイム3D再構成は, 手術者の視認性を高めることを約束し, コンピュータ支援手術において重要な役割を担っている。 近年の3Dガウススティング(3DGS)の進歩は、初期化のためにStructure-from-Motion(SfM)によって生成された正確なポーズと点雲に依存する、一般的なシーンのリアルタイムな新しいビュー合成に大きな可能性を示している。 しかし、SfMを用いた3DGSは、テクスチャの最小化と光度不整合の難しさにより、手術シーンにおける正確なカメラポーズと幾何学の回復に失敗する。 そこで本研究では,SfMフリー3DGSを用いた手術シーン再構築手法を提案する。 映像の連続性に基づいて,本手法の鍵となるのは,3次元ガウスから導出される投影流を誘導するために,直近の光学的流れを利用することである。 光量損失のみに依存する従来の方法とは異なり、投影流と光流の間の損失を最小限に抑えるため、ポーズ推定問題を定式化する。 さらに、エピポーラ幾何学を満たす厳密で信頼性の高い点を検出することにより、フローアウトレーヤをフィルタリングするために整合性チェックが導入された。 3次元ガウス最適化では,フレームをランダムにサンプリングしてシーン表現を最適化し,段階的に3次元ガウスを成長させる。 SCAREDデータセットの実験は、新しいビュー合成における既存の手法よりも優れた性能を示し、高い効率でポーズ推定を行う。 コードはhttps://github.com/wrld/Free-SurGS.comで入手できる。

関連論文リスト

• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。 また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。 我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
  本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
  論文  参考訳（メタデータ） (2024-04-29T23:26:30Z)
• Gaussian Opacity Fields: Efficient and Compact Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質でコンパクトな表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views [9.175560202201819]
  3Dガウススプラッティング(3DGS)はシーンを正確に表現するための効率的なアプローチとして登場した。 本稿では,ノイズの多い3DGS表現とスムーズな3Dメッシュ表現とのギャップを埋めるための新しい手法を提案する。 私たちは、オリジナルのトレーニングポーズに対応するステレオアライメントされたイメージのペアをレンダリングし、ペアをステレオモデルに入力して深度プロファイルを取得し、最後にすべてのプロファイルを融合して単一のメッシュを得る。
  論文  参考訳（メタデータ） (2024-04-02T10:13:18Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting [12.333523732756163]
  動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。 NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。 本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
  論文  参考訳（メタデータ） (2024-01-29T18:55:29Z)
• EndoGaussian: Real-time Gaussian Splatting for Dynamic Endoscopic Scene Reconstruction [36.35631592019182]
  3次元ガウススプラッティングを用いたリアルタイム内視鏡的シーン再構築フレームワークであるEndoGaussian(3DGS)を紹介する。 我々のフレームワークはレンダリング速度をリアルタイムレベルまで大幅に向上させます。 公開データセットの実験は、多くの点で以前のSOTAに対する有効性を実証している。
  論文  参考訳（メタデータ） (2024-01-23T08:44:26Z)
• FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
  本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。 このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T09:30:02Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)
• Text-to-3D using Gaussian Splatting [18.163413810199234]
  本稿では,最新の最先端表現であるガウススプラッティングをテキストから3D生成に適用する新しい手法であるGSGENを提案する。 GSGENは、高品質な3Dオブジェクトを生成し、ガウススティングの明示的な性質を活用することで既存の欠点に対処することを目的としている。 我々の手法は繊細な細部と正確な形状で3Dアセットを生成することができる。
  論文  参考訳（メタデータ） (2023-09-28T16:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。