論文の概要: GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2402.10259v3
- Date: Tue, 17 Sep 2024 20:46:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 23:25:58.892509
- Title: GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting
- Title（参考訳）: Gaussian Object: ガウススメッティングによる4視点からの高品質3次元オブジェクト再構成
- Authors: Chen Yang, Sikuang Li, Jiemin Fang, Ruofan Liang, Lingxi Xie, Xiaopeng Zhang, Wei Shen, Qi Tian,
- Abstract要約: 入力画像4枚だけで高画質化が可能な3Dオブジェクトをガウススプラッティングで表現・描画するフレームワークを提案する。
GustafObjectは、MipNeRF360、OmniObject3D、OpenIlluminationなど、いくつかの困難なデータセットで評価されている。
- 参考スコア（独自算出の注目度）: 82.29476781526752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing and rendering 3D objects from highly sparse views is of critical importance for promoting applications of 3D vision techniques and improving user experience. However, images from sparse views only contain very limited 3D information, leading to two significant challenges: 1) Difficulty in building multi-view consistency as images for matching are too few; 2) Partially omitted or highly compressed object information as view coverage is insufficient. To tackle these challenges, we propose GaussianObject, a framework to represent and render the 3D object with Gaussian splatting that achieves high rendering quality with only 4 input images. We first introduce techniques of visual hull and floater elimination, which explicitly inject structure priors into the initial optimization process to help build multi-view consistency, yielding a coarse 3D Gaussian representation. Then we construct a Gaussian repair model based on diffusion models to supplement the omitted object information, where Gaussians are further refined. We design a self-generating strategy to obtain image pairs for training the repair model. We further design a COLMAP-free variant, where pre-given accurate camera poses are not required, which achieves competitive quality and facilitates wider applications. GaussianObject is evaluated on several challenging datasets, including MipNeRF360, OmniObject3D, OpenIllumination, and our-collected unposed images, achieving superior performance from only four views and significantly outperforming previous SOTA methods.
- Abstract（参考訳）: 高度にスパースな視点から3Dオブジェクトを再構成・レンダリングすることは、3Dビジョン技術の応用を促進し、ユーザエクスペリエンスを向上させる上で非常に重要である。
しかし、スパースビューの画像は、非常に限られた3D情報しか含まないため、2つの大きな課題に繋がる。
1) マッチングのための画像として多視点整合性を構築することの難しさは少なすぎる。
2)ビューカバレッジが不十分なため,部分的省略や高度に圧縮されたオブジェクト情報は不十分である。
これらの課題に対処するため,GaussianObjectを提案する。Gaussian splattingで3Dオブジェクトを表現・描画するフレームワークで,入力画像4枚だけで高いレンダリング品質を実現する。
まず,初期最適化プロセスに構造先行を明示的に注入し,多視点整合性の構築を支援し,粗い3次元ガウス表現をもたらす視覚的船体とフロータの除去技術を紹介する。
次に,拡散モデルに基づくガウス補修モデルを構築し,省略された対象情報を補う。
修復モデルを訓練するための画像ペアを得るための自己生成戦略を設計する。
我々はさらに、COLMAPのないバージョンを設計し、事前に用意された正確なカメラポーズは必要とせず、競争的な品質を実現し、より広範なアプリケーションを容易にする。
ガウシアンオブジェクトは、MipNeRF360、OmniObject3D、OpenIllumination、我々の収集した未提示画像など、いくつかの挑戦的なデータセットで評価され、わずか4つのビューで優れたパフォーマンスを実現し、従来のSOTA手法よりも大幅に優れていた。
関連論文リスト
- NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。
我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
論文 参考訳（メタデータ） (2024-11-25T07:57:17Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。
階層的な3Dガウスを粗大な戦略で生成する。
これにより、再構築品質とデータセット間の一般化が大幅に向上する。
論文 参考訳（メタデータ） (2024-10-08T17:59:32Z) - Self-augmented Gaussian Splatting with Structure-aware Masks for Sparse-view 3D Reconstruction [9.953394373473621]
スパースビュー3D再構成は、コンピュータビジョンにおいて非常に難しい課題である。
本稿では,構造対応マスクにより拡張された自己拡張型粗大なガウススプラッティングパラダイムを提案する。
本手法は,知覚的品質と効率の両面において,スパース入力ビューの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-08-09T03:09:22Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。
単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。
Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2024-06-26T19:37:07Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳（メタデータ） (2024-03-28T15:27:13Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳（メタデータ） (2024-01-08T18:56:33Z) - Sparse-view CT Reconstruction with 3D Gaussian Volumetric Representation [13.667470059238607]
Sparse-view CTは従来のCTスキャンの放射線線量を減らすための有望な戦略である。
近年、3Dガウスアンは複雑な自然シーンのモデル化に応用されている。
スパース・ビューCT再建の可能性について検討した。
論文 参考訳（メタデータ） (2023-12-25T09:47:33Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2023-11-22T20:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。