論文の概要: Splatt3R: Zero-shot Gaussian Splatting from Uncalibarated Image Pairs
- arxiv url: http://arxiv.org/abs/2408.13912v1
- Date: Sun, 25 Aug 2024 18:27:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 15:32:15.727113
- Title: Splatt3R: Zero-shot Gaussian Splatting from Uncalibarated Image Pairs
- Title（参考訳）: Splatt3R:ゼロショット・ガウス・スプレイティング
- Authors: Brandon Smart, Chuanxia Zheng, Iro Laina, Victor Adrian Prisacariu,
- Abstract要約: Splatt3Rはポーズレスフィードフォワード方式で,立体対からの3次元再構成と新しいビュー合成を行う。
Splatt3Rは補正されていない自然画像から、カメラパラメータや深度情報を必要とせずに3Dガウススプラッターを予測できる。
Splatt3Rは512 x 512の解像度で4FPSでシーンを再構築でき、その結果をリアルタイムでレンダリングすることができる。
- 参考スコア（独自算出の注目度）: 29.669534899109028
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce Splatt3R, a pose-free, feed-forward method for in-the-wild 3D reconstruction and novel view synthesis from stereo pairs. Given uncalibrated natural images, Splatt3R can predict 3D Gaussian Splats without requiring any camera parameters or depth information. For generalizability, we start from a 'foundation' 3D geometry reconstruction method, MASt3R, and extend it to be a full 3D structure and appearance reconstructor. Specifically, unlike the original MASt3R which reconstructs only 3D point clouds, we predict the additional Gaussian attributes required to construct a Gaussian primitive for each point. Hence, unlike other novel view synthesis methods, Splatt3R is first trained by optimizing the 3D point cloud's geometry loss, and then a novel view synthesis objective. By doing this, we avoid the local minima present in training 3D Gaussian Splats from stereo views. We also propose a novel loss masking strategy that we empirically find is critical for strong performance on extrapolated viewpoints. We train Splatt3R on the ScanNet++ dataset and demonstrate excellent generalisation to uncalibrated, in-the-wild images. Splatt3R can reconstruct scenes at 4FPS at 512 x 512 resolution, and the resultant splats can be rendered in real-time.
- Abstract（参考訳）: 本稿では,ポーズレスフィードフォワード方式であるSplatt3Rについて紹介する。
Splatt3Rは補正されていない自然画像から、カメラパラメータや深度情報を必要とせずに3Dガウススプラッターを予測できる。
一般化のために,3次元幾何再構成法MASt3Rから始まり,それを完全な3次元構造と外観再構成器に拡張する。
具体的には、3次元点雲のみを再構成する元のMASt3Rとは異なり、各点に対してガウス原始を構成するのに必要なガウス属性を予測する。
したがって、他の新しいビュー合成法とは異なり、Splatt3Rは最初に3Dポイント雲の幾何学的損失を最適化し、新しいビュー合成目的を最適化することで訓練される。
これにより、ステレオビューから3次元ガウススプラッターを訓練する際の局所的なミニマを避けることができる。
また,外挿視点における強靭なパフォーマンスには,経験的に重要な損失マスキング戦略を提案する。
ScanNet++データセット上でSplatt3Rをトレーニングし、未校正画像に優れた一般化を示す。
Splatt3Rは512 x 512の解像度で4FPSでシーンを再構築でき、その結果のスプラッターをリアルタイムでレンダリングできる。
関連論文リスト
- GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - Epipolar-Free 3D Gaussian Splatting for Generalizable Novel View Synthesis [25.924727931514735]
一般化可能な3DGSは、フィードフォワード推論方式でスパースビュー観測から新しいシーンを再構築することができる。
既存の手法は、複雑な現実世界のシーンでは信頼できないエピポーラ先行に大きく依存している。
一般化可能な新規ビュー合成のための効率的なフィードフォワード3DGSモデルであるeFreeSplatを提案する。
論文 参考訳（メタデータ） (2024-10-30T08:51:29Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。
階層的な3Dガウスを粗大な戦略で生成する。
これにより、再構築品質とデータセット間の一般化が大幅に向上する。
論文 参考訳（メタデータ） (2024-10-08T17:59:32Z) - FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。
ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-05-28T08:40:14Z) - GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views [9.175560202201819]
3Dガウススプラッティング(3DGS)はシーンを正確に表現するための効率的なアプローチとして登場した。
本稿では,ノイズの多い3DGS表現とスムーズな3Dメッシュ表現とのギャップを埋めるための新しい手法を提案する。
私たちは、オリジナルのトレーニングポーズに対応するステレオアライメントされたイメージのペアをレンダリングし、ペアをステレオモデルに入力して深度プロファイルを取得し、最後にすべてのプロファイルを融合して単一のメッシュを得る。
論文 参考訳（メタデータ） (2024-04-02T10:13:18Z) - pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction [26.72289913260324]
pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。
我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
論文 参考訳（メタデータ） (2023-12-19T17:03:50Z) - GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis [70.24111297192057]
我々は、文字の新たなビューをリアルタイムに合成するための新しいアプローチ、GPS-Gaussianを提案する。
提案手法は,スパースビューカメラ設定下での2K解像度のレンダリングを可能にする。
論文 参考訳（メタデータ） (2023-12-04T18:59:55Z) - NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting
Guidance [59.08521048003009]
本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。
3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。
我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
論文 参考訳（メタデータ） (2023-12-01T07:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。