論文の概要: GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time
- arxiv url: http://arxiv.org/abs/2403.10147v2
- Date: Tue, 19 Mar 2024 03:03:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 12:54:38.186504
- Title: GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time
- Title（参考訳）: GGRt: Pose-free Generalizable 3D Gaussian Splatting in Real-time
- Authors: Hao Li, Yuanyuan Gao, Chenming Wu, Dingwen Zhang, Yalun Dai, Chen Zhao, Haocheng Feng, Errui Ding, Jingdong Wang, Junwei Han,
- Abstract要約: GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。
最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
- 参考スコア（独自算出の注目度）: 112.32349668385635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents GGRt, a novel approach to generalizable novel view synthesis that alleviates the need for real camera poses, complexity in processing high-resolution images, and lengthy optimization processes, thus facilitating stronger applicability of 3D Gaussian Splatting (3D-GS) in real-world scenarios. Specifically, we design a novel joint learning framework that consists of an Iterative Pose Optimization Network (IPO-Net) and a Generalizable 3D-Gaussians (G-3DG) model. With the joint learning mechanism, the proposed framework can inherently estimate robust relative pose information from the image observations and thus primarily alleviate the requirement of real camera poses. Moreover, we implement a deferred back-propagation mechanism that enables high-resolution training and inference, overcoming the resolution constraints of previous methods. To enhance the speed and efficiency, we further introduce a progressive Gaussian cache module that dynamically adjusts during training and inference. As the first pose-free generalizable 3D-GS framework, GGRt achieves inference at $\ge$ 5 FPS and real-time rendering at $\ge$ 100 FPS. Through extensive experimentation, we demonstrate that our method outperforms existing NeRF-based pose-free techniques in terms of inference speed and effectiveness. It can also approach the real pose-based 3D-GS methods. Our contributions provide a significant leap forward for the integration of computer vision and computer graphics into practical applications, offering state-of-the-art results on LLFF, KITTI, and Waymo Open datasets and enabling real-time rendering for immersive experiences.
- Abstract（参考訳）: 本稿では,GGRtを提案する。GGRtは,現実のシナリオにおいて,現実のカメラのポーズ,高解像度画像処理の複雑さ,および長大な最適化プロセスの必要性を軽減し,より強力な3Dガウススティング(3D-GS)の適用性を実現する。
具体的には,反復型Pose Optimization Network(IPO-Net)と一般化可能な3D-Gaussian(G-3DG)モデルで構成される新しい共同学習フレームワークを設計する。
共同学習機構により、画像観察から頑健な相対ポーズ情報を本質的に推定し、実際のカメラポーズの要求を緩和することができる。
さらに,従来の手法の解法制約を克服し,高分解能トレーニングと推論を可能にする遅延バックプロパゲーション機構を実装した。
高速化と効率化のために,トレーニングや推論中に動的に調整するプログレッシブガウスキャッシュモジュールを導入する。
最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$$$ge$ 5 FPSで、リアルタイムレンダリングは$$$ge$ 100 FPSで、推論を達成している。
大規模な実験を通じて,提案手法は既存のNeRFベースのポーズフリー手法よりも推論速度と有効性において優れていることを示す。
リアルなポーズベースの3D-GSメソッドにもアプローチできる。
私たちのコントリビューションは、コンピュータビジョンとコンピュータグラフィックスを実用的なアプリケーションに統合し、LLFF、KITTI、Waymo Openデータセットの最先端結果を提供し、没入感のあるエクスペリエンスのためのリアルタイムレンダリングを可能にします。
関連論文リスト
- PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - GSLoc: Efficient Camera Pose Refinement via 3D Gaussian Splatting [25.780452115246245]
本稿では,新しいテストタイムカメラ・ポーズ・リファインメントフレームワークGSLocを提案する。
このフレームワークは、最先端の絶対ポーズ回帰とシーン座標回帰法の局所化精度を高める。
GSLocは、RGBイメージを直接操作することで、特徴抽出器や記述器をトレーニングする必要がなくなる。
論文 参考訳（メタデータ） (2024-08-20T17:58:23Z) - WE-GS: An In-the-wild Efficient 3D Gaussian Representation for Unconstrained Photo Collections [8.261637198675151]
制約のない写真コレクションからの新規ビュー合成(NVS)は、コンピュータグラフィックスでは困難である。
写真コレクションからのシーン再構築のための効率的なポイントベース微分可能レンダリングフレームワークを提案する。
提案手法は、新しいビューのレンダリング品質と、高収束・レンダリング速度の外観合成において、既存のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-06-04T15:17:37Z) - Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。
合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
論文 参考訳（メタデータ） (2024-03-20T06:19:41Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - Gaussian Splatting SLAM [16.3858380078553]
単分子SLAMにおける3次元ガウス散乱の最初の応用について述べる。
我々の方法は3fpsで動作し、正確な追跡、マッピング、高品質なレンダリングに必要な表現を統一する。
ライブカメラから高忠実度で連続的に3Dシーンを再構築するためには、いくつかの革新が必要である。
論文 参考訳（メタデータ） (2023-12-11T18:19:04Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [58.41056963451056]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-12-01T09:30:02Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳（メタデータ） (2023-11-26T02:35:09Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。