論文の概要: Self-augmented Gaussian Splatting with Structure-aware Masks for Sparse-view 3D Reconstruction
- arxiv url: http://arxiv.org/abs/2408.04831v2
- Date: Wed, 14 Aug 2024 05:20:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-15 12:22:42.488205
- Title: Self-augmented Gaussian Splatting with Structure-aware Masks for Sparse-view 3D Reconstruction
- Title(参考訳): Sparse-view 3Dリコンストラクションのための構造対応マスクを用いた自己拡張型ガウススプラッティング
- Authors: Lingbei Meng, Bi'an Du, Wei Hu,
- Abstract要約: スパースビュー3D再構成は、コンピュータビジョンにおいて非常に難しい課題である。
本稿では,構造対応マスクにより拡張された自己拡張型粗大なガウススプラッティングパラダイムを提案する。
本手法は,知覚的品質と効率の両面において,スパース入力ビューの最先端性能を実現する。
- 参考スコア(独自算出の注目度): 9.953394373473621
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse-view 3D reconstruction stands as a formidable challenge in computer vision, aiming to build complete three-dimensional models from a limited array of viewing perspectives. This task confronts several difficulties: 1) the limited number of input images that lack consistent information; 2) dependence on the quality of input images; and 3) the substantial size of model parameters. To address these challenges, we propose a self-augmented coarse-to-fine Gaussian splatting paradigm, enhanced with a structure-aware mask, for sparse-view 3D reconstruction. In particular, our method initially employs a coarse Gaussian model to obtain a basic 3D representation from sparse-view inputs. Subsequently, we develop a fine Gaussian network to enhance consistent and detailed representation of the output with both 3D geometry augmentation and perceptual view augmentation. During training, we design a structure-aware masking strategy to further improve the model's robustness against sparse inputs and noise.Experimental results on the MipNeRF360 and OmniObject3D datasets demonstrate that the proposed method achieves state-of-the-art performances for sparse input views in both perceptual quality and efficiency.
- Abstract(参考訳): スパースビュー3D再構成は、限られた視点から完全な3次元モデルを構築することを目的として、コンピュータビジョンにおいて非常に難しい課題である。
この課題はいくつかの困難に直面します。
1) 一貫した情報を持たない入力画像の限られた数
2)入力画像の品質への依存,及び
3)モデルパラメータのかなりのサイズ。
これらの課題に対処するために、スパースビュー3次元再構成のための構造認識マスクにより強化された自己拡張された粗大なガウススプラッティングパラダイムを提案する。
特に,本手法ではまず粗いガウスモデルを用いて,スパースビュー入力から基本的な3次元表現を得る。
続いて,3次元幾何学的拡張と知覚的視点的拡張の両面から,出力の一貫性と詳細な表現を強化するための微細ガウスネットワークを開発した。
MipNeRF360 と OmniObject3D データセットを用いた実験結果から,提案手法が知覚的品質と効率の両方でスパース入力ビューの最先端性能を達成することを示す。
関連論文リスト
- GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。
従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。
GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
論文 参考訳(メタデータ) (2024-06-21T17:49:31Z) - MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。
オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。
実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
論文 参考訳(メタデータ) (2024-06-10T15:26:48Z) - GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。
提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
論文 参考訳(メタデータ) (2024-05-17T07:31:20Z) - FDGaussian: Fast Gaussian Splatting from Single Image via Geometric-aware Diffusion Model [81.03553265684184]
FDGaussianは、シングルイメージ3D再構成のための新しい2段階フレームワークである。
最近の手法では、通常、事前訓練された2次元拡散モデルを用いて、入力画像から可塑性な新しいビューを生成する。
我々は,FDGaussianが様々な視点で高一貫性の画像を生成し,高品質な3Dオブジェクトを再構成することを示した。
論文 参考訳(メタデータ) (2024-03-15T12:24:36Z) - 3D Face Reconstruction Using A Spectral-Based Graph Convolution Encoder [3.749406324648861]
本稿では,既存の2次元機能と3次元機能を統合し,モデル学習プロセスを導く革新的なアプローチを提案する。
我々のモデルはデータセットの組み合わせから2D-3Dデータペアを用いて訓練され、NoWベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2024-03-08T11:09:46Z) - GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object
with Gaussian Splatting [85.83922043049235]
高度にスパースな視点から3Dオブジェクトを再構成・レンダリングすることは、3Dビジョン技術の応用を促進する上で非常に重要である。
ガウススプラッティングで3Dオブジェクトを表現・描画するフレームワークを提案する。
提案手法は,MipNeRF360,OmniObject3D,OpenIlluminationなどの難易度データセットを用いて評価する。
論文 参考訳(メタデータ) (2024-02-15T18:42:33Z) - 2L3: Lifting Imperfect Generated 2D Images into Accurate 3D [16.66666619143761]
マルチビュー(MV)3次元再構成は,生成したMV画像を一貫した3次元オブジェクトに融合させる,有望なソリューションである。
しかし、生成された画像は、通常、一貫性のない照明、不整合幾何学、スパースビューに悩まされ、復元の質が低下する。
本稿では, 内在的分解誘導, 過渡的モノ先行誘導, および3つの問題に対処するための視認性向上を活用する新しい3次元再構成フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-29T02:30:31Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳(メタデータ) (2021-01-18T03:24:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。