論文の概要: FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2412.09573v1
• Date: Thu, 12 Dec 2024 18:52:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:32:13.595354
• Title: FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction
• Title（参考訳）: FreeSplatter:スパースビュー3D再構成のためのポーズフリーガウススプラッティング
• Authors: Jiale Xu, Shenghua Gao, Ying Shan,
• Abstract要約: スパースビュー画像から高品質な3Dガウス画像を生成することができるフィードフォワード再構築フレームワークであるFreeSplatterを提案する。 FreeSplatterは、シーケンシャルな自己アテンションブロックで構成される、合理化されたトランスフォーマーアーキテクチャ上に構築されている。 テキスト・画像・3Dコンテンツ作成など,下流アプリケーションの生産性を高めるFreeSplatterの可能性を示す。
• 参考スコア（独自算出の注目度）: 59.77970844874235
• License:
• Abstract: Existing sparse-view reconstruction models heavily rely on accurate known camera poses. However, deriving camera extrinsics and intrinsics from sparse-view images presents significant challenges. In this work, we present FreeSplatter, a highly scalable, feed-forward reconstruction framework capable of generating high-quality 3D Gaussians from uncalibrated sparse-view images and recovering their camera parameters in mere seconds. FreeSplatter is built upon a streamlined transformer architecture, comprising sequential self-attention blocks that facilitate information exchange among multi-view image tokens and decode them into pixel-wise 3D Gaussian primitives. The predicted Gaussian primitives are situated in a unified reference frame, allowing for high-fidelity 3D modeling and instant camera parameter estimation using off-the-shelf solvers. To cater to both object-centric and scene-level reconstruction, we train two model variants of FreeSplatter on extensive datasets. In both scenarios, FreeSplatter outperforms state-of-the-art baselines in terms of reconstruction quality and pose estimation accuracy. Furthermore, we showcase FreeSplatter's potential in enhancing the productivity of downstream applications, such as text/image-to-3D content creation.
• Abstract（参考訳）: 既存のスパースビュー復元モデルは、正確なカメラのポーズに大きく依存している。 しかし、スパースビュー画像からカメラの外生と内生を抽出することは重要な課題である。 本稿では,未校正されたスパースビュー画像から高品質な3Dガウスを生成でき,カメラパラメータをわずか数秒で復元できる,高度にスケーラブルでフィードフォワードの再構築フレームワークFreeSplatterを提案する。 FreeSplatterは、マルチビュー画像トークン間の情報交換を容易にし、それらをピクセル単位の3Dガウスプリミティブにデコードするシーケンシャルな自己アテンションブロックで構成される、合理化されたトランスフォーマーアーキテクチャ上に構築されている。 予測されたガウシアンプリミティブは統一された参照フレームに配置されており、オフザシェルフソルバを用いた高忠実度3Dモデリングとインスタントカメラパラメータ推定が可能である。 オブジェクト中心とシーンレベルの再構築の両方に対応するため、広範囲なデータセット上で2つのモデルのFreeSplatterをトレーニングする。 どちらのシナリオでも、FreeSplatterは再構築品質で最先端のベースラインを上回り、推定精度が向上する。 さらに、テキスト/画像から3Dコンテンツ作成など、下流アプリケーションの生産性を高めるFreeSplatterの可能性を示す。

関連論文リスト

• PreF3R: Pose-Free Feed-Forward 3D Gaussian Splatting from Variable-length Image Sequence [3.61512056914095]
  可変長の画像列から,PreF3R, Pose-Free Feed-forward 3D再構成を提案する。 PreF3Rは、カメラキャリブレーションの必要性を排除し、正準座標フレーム内の3次元ガウス場を、未提示画像のシーケンスから直接再構成する。
  論文  参考訳（メタデータ） (2024-11-25T19:16:29Z)
• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• SCube: Instant Large-Scale Scene Reconstruction using VoxSplats [55.383993296042526]
  SCubeは画像の粗い集合から大規模3次元シーン(幾何学、外観、意味論)を再構成する新しい手法である。 提案手法は,高解像度のスパース・ボクセル・足場上に支持された3次元ガウスの組である,新しい表現VoxSplatを用いて再構成シーンを符号化する。
  論文  参考訳（メタデータ） (2024-10-26T00:52:46Z)
• LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors [34.91966359570867]
  スパースビューの再構築は本質的に不適切であり、制約を受けていない。 本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。 提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-09-05T12:09:02Z)
• AugGS: Self-augmented Gaussians with Structural Masks for Sparse-view 3D Reconstruction [9.953394373473621]
  スパースビュー3D再構成はコンピュータビジョンにおける大きな課題である。 本研究では,スパース・ビュー3D再構成のための構造マスクを付加した自己拡張型2段ガウス・スプレイティング・フレームワークを提案する。 提案手法は,認識品質における最先端性能と,スパース入力との多視点整合性を実現する。
  論文  参考訳（メタデータ） (2024-08-09T03:09:22Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。