Fugu-MT 論文翻訳(概要): Look Gauss, No Pose: Novel View Synthesis using Gaussian Splatting without Accurate Pose Initialization

論文の概要: Look Gauss, No Pose: Novel View Synthesis using Gaussian Splatting without Accurate Pose Initialization

arxiv url: http://arxiv.org/abs/2410.08743v1
Date: Fri, 11 Oct 2024 12:01:15 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 22:15:28.789026
Title: Look Gauss, No Pose: Novel View Synthesis using Gaussian Splatting without Accurate Pose Initialization
Title（参考訳）: Look Gauss, no Pose: 正確な Pose 初期化を伴わない Gaussian Splatting を用いた新しいビュー合成
Authors: Christian Schmidt, Jens Piekenbrinck, Bastian Leibe,
Abstract要約: 3D Gaussian Splattingは、一連の入力画像から高速で正確なノベルビュー合成のための強力なツールとして登場した。本稿では, 外部カメラパラメータを測光残差に対して最適化することにより, 3次元ガウス散乱フレームワークの拡張を提案する。シミュレーション環境を通して実世界のシーンと複雑な軌道について結果を示す。
参考スコア（独自算出の注目度）: 11.418632671254564
License: http://creativecommons.org/licenses/by/4.0/
Abstract: 3D Gaussian Splatting has recently emerged as a powerful tool for fast and accurate novel-view synthesis from a set of posed input images. However, like most novel-view synthesis approaches, it relies on accurate camera pose information, limiting its applicability in real-world scenarios where acquiring accurate camera poses can be challenging or even impossible. We propose an extension to the 3D Gaussian Splatting framework by optimizing the extrinsic camera parameters with respect to photometric residuals. We derive the analytical gradients and integrate their computation with the existing high-performance CUDA implementation. This enables downstream tasks such as 6-DoF camera pose estimation as well as joint reconstruction and camera refinement. In particular, we achieve rapid convergence and high accuracy for pose estimation on real-world scenes. Our method enables fast reconstruction of 3D scenes without requiring accurate pose information by jointly optimizing geometry and camera poses, while achieving state-of-the-art results in novel-view synthesis. Our approach is considerably faster to optimize than most competing methods, and several times faster in rendering. We show results on real-world scenes and complex trajectories through simulated environments, achieving state-of-the-art results on LLFF while reducing runtime by two to four times compared to the most efficient competing method. Source code will be available at https://github.com/Schmiddo/noposegs .
Abstract（参考訳）: 3D Gaussian Splattingは、最近、一連の入力画像から高速で正確なノベルビュー合成のための強力なツールとして登場した。しかし、多くの新しいビュー合成アプローチと同様に、正確なカメラポーズ情報に依存しており、正確なカメラポーズの取得が難しい、あるいは不可能な現実のシナリオにおける適用性を制限している。本稿では, 外部カメラパラメータを測光残差に対して最適化することにより, 3次元ガウス散乱フレームワークの拡張を提案する。解析的勾配を導出し、その計算を既存の高性能CUDA実装と統合する。これにより、6-DoFカメラのポーズ推定などの下流タスクや、関節再建やカメラの改良が可能になる。特に,現実の場面におけるポーズ推定の高速化と高精度化を実現している。提案手法は,3次元シーンを高精度なポーズ情報を必要とせず,幾何学とカメラのポーズを協調的に最適化すると同時に,新しいビュー合成における最先端の結果を達成し,迅速な3次元シーンの再構築を可能にする。我々のアプローチは、競合するほとんどのメソッドよりも大幅に高速で、レンダリングでは数倍高速です。実世界のシーンや複雑な軌跡をシミュレーションし、LLFF上での最先端の成果を達成しつつ、最も効率的な競合手法と比較してランタイムを2倍から4倍に減らした。ソースコードはhttps://github.com/Schmiddo/noposegs.comで入手できる。

関連論文リスト

No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文参考訳（メタデータ） (2024-10-31T17:58:22Z)
PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文参考訳（メタデータ） (2024-10-29T15:28:15Z)
Self-Calibrating 4D Novel View Synthesis from Monocular Videos Using Gaussian Splatting [14.759265492381509]
本稿では,カメラパラメータの自己校正による高忠実度 4D GS シーン表現の学習手法を提案する。 3次元構造を頑健に表現する2次元点特徴の抽出を含む。その結果,4次元新規ビュー合成における最先端手法の大幅な改善が示された。
論文参考訳（メタデータ） (2024-06-03T06:52:35Z)
A Construct-Optimize Approach to Sparse View Synthesis without Camera Pose [44.13819148680788]
カメラポーズを伴わないスパースビュー合成のための新しい構成と最適化手法を開発した。具体的には、単分子深度と画素を3次元の世界に投影することで、解を構築する。タンク・アンド・テンプル・アンド・スタティック・ハイクスのデータセットに3つの広い範囲のビューで結果を示す。
論文参考訳（メタデータ） (2024-05-06T17:36:44Z)
GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
論文参考訳（メタデータ） (2024-03-15T09:47:35Z)
COLMAP-Free 3D Gaussian Splatting [88.420322646756]
本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
論文参考訳（メタデータ） (2023-12-12T18:39:52Z)
FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。 FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2023-12-01T09:30:02Z)
GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。