論文の概要: UniG: Modelling Unitary 3D Gaussians for View-consistent 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2410.13195v1
• Date: Thu, 17 Oct 2024 03:48:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:19:48.532715
• Title: UniG: Modelling Unitary 3D Gaussians for View-consistent 3D Reconstruction
• Title（参考訳）: UniG:ビュー一貫性3次元再構成のためのユニタリ3次元ガウスのモデリング
• Authors: Jiamin Wu, Kenkun Liu, Yukai Shi, Xiaoke Jiang, Yuan Yao, Lei Zhang,
• Abstract要約: ビュー一貫性を持つ3次元再構成と新しいビュー合成モデルUniGを提案する。 UniGはスパース画像から3Dガウスの高忠実度表現を生成する。
• 参考スコア（独自算出の注目度）: 20.089890859122168
• License:
• Abstract: In this work, we present UniG, a view-consistent 3D reconstruction and novel view synthesis model that generates a high-fidelity representation of 3D Gaussians from sparse images. Existing 3D Gaussians-based methods usually regress Gaussians per-pixel of each view, create 3D Gaussians per view separately, and merge them through point concatenation. Such a view-independent reconstruction approach often results in a view inconsistency issue, where the predicted positions of the same 3D point from different views may have discrepancies. To address this problem, we develop a DETR (DEtection TRansformer)-like framework, which treats 3D Gaussians as decoder queries and updates their parameters layer by layer by performing multi-view cross-attention (MVDFA) over multiple input images. In this way, multiple views naturally contribute to modeling a unitary representation of 3D Gaussians, thereby making 3D reconstruction more view-consistent. Moreover, as the number of 3D Gaussians used as decoder queries is irrespective of the number of input views, allow an arbitrary number of input images without causing memory explosion. Extensive experiments validate the advantages of our approach, showcasing superior performance over existing methods quantitatively (improving PSNR by 4.2 dB when trained on Objaverse and tested on the GSO benchmark) and qualitatively.
• Abstract（参考訳）: 本研究では,3次元ガウスの高忠実度表現をスパース画像から生成するビュー一貫性の3次元再構成と新しいビュー合成モデルUniGを提案する。 既存の3Dガウスの手法は、通常、各ビューの1ピクセルあたりのガウスを回帰させ、ビューごとに個別に3Dガウスを生成し、点連結を通してそれらをマージする。 このようなビューに依存しない再構築アプローチは、異なるビューから同じ3Dポイントの予測された位置が相違がある場合の、ビューの不整合問題を引き起こすことが多い。 この問題に対処するために,3次元ガウスをデコーダクエリとして扱うDETR(Detection TRansformer)ライクなフレームワークを開発し,複数の入力画像上でマルチビュー・クロスアテンション(MVDFA)を実行することで,そのパラメータ層を階層的に更新する。 このようにして、複数のビューは自然に3Dガウスのユニタリ表現のモデリングに寄与し、3D再構成をより一貫性のあるものにする。 さらに、デコーダクエリとして使用される3Dガウスの数は、入力ビューの数によらず、メモリの爆発を引き起こすことなく任意の数の入力画像を可能にする。 提案手法の利点を検証し,既存の手法よりも優れた性能を示す(Objaverseでトレーニングし,GSOベンチマークで試験した場合にPSNRを4.2dB向上させる)。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• Large Point-to-Gaussian Model for Image-to-3D Generation [48.95861051703273]
  2次元画像上での3次元拡散モデルから生成された初期点雲を入力する大規模点-ガウスモデルを提案する。 点雲はガウス生成に先立って最初の3次元幾何学を提供し、画像から3次元生成を著しく促進する。
  論文  参考訳（メタデータ） (2024-08-20T15:17:53Z)
• Self-augmented Gaussian Splatting with Structure-aware Masks for Sparse-view 3D Reconstruction [9.953394373473621]
  スパースビュー3D再構成は、コンピュータビジョンにおいて非常に難しい課題である。 本稿では,構造対応マスクにより拡張された自己拡張型粗大なガウススプラッティングパラダイムを提案する。 本手法は,知覚的品質と効率の両面において,スパース入力ビューの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-09T03:09:22Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• MVD-Fusion: Single-view 3D via Depth-consistent Multi-view Generation [54.27399121779011]
  本稿では,多視点RGB-D画像の生成モデルを用いて,単視点3次元推論を行うMVD-Fusionを提案する。 提案手法は,蒸留に基づく3D推論や先行多視点生成手法など,最近の最先端技術と比較して,より正確な合成を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:57Z)
• AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
  Amortized Generative 3D Gaussian framework (AGG) を導入する。 AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。 本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-08T18:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。