論文の概要: GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object
with Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2402.10259v2
- Date: Tue, 20 Feb 2024 11:19:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 19:18:47.135576
- Title: GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object
with Gaussian Splatting
- Title（参考訳）: gaussianobject:gaussian splattingで高品質な3dオブジェクトを得るための4つのイメージ
- Authors: Chen Yang and Sikuang Li and Jiemin Fang and Ruofan Liang and Lingxi
Xie and Xiaopeng Zhang and Wei Shen and Qi Tian
- Abstract要約: 高度にスパースな視点から3Dオブジェクトを再構成・レンダリングすることは、3Dビジョン技術の応用を促進する上で非常に重要である。
ガウススプラッティングで3Dオブジェクトを表現・描画するフレームワークを提案する。
提案手法は,MipNeRF360,OmniObject3D,OpenIlluminationなどの難易度データセットを用いて評価する。
- 参考スコア（独自算出の注目度）: 85.83922043049235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing and rendering 3D objects from highly sparse views is of
critical importance for promoting applications of 3D vision techniques and
improving user experience. However, images from sparse views only contain very
limited 3D information, leading to two significant challenges: 1) Difficulty in
building multi-view consistency as images for matching are too few; 2)
Partially omitted or highly compressed object information as view coverage is
insufficient. To tackle these challenges, we propose GaussianObject, a
framework to represent and render the 3D object with Gaussian splatting, that
achieves high rendering quality with only 4 input images. We first introduce
techniques of visual hull and floater elimination which explicitly inject
structure priors into the initial optimization process for helping build
multi-view consistency, yielding a coarse 3D Gaussian representation. Then we
construct a Gaussian repair model based on diffusion models to supplement the
omitted object information, where Gaussians are further refined. We design a
self-generating strategy to obtain image pairs for training the repair model.
Our GaussianObject is evaluated on several challenging datasets, including
MipNeRF360, OmniObject3D, and OpenIllumination, achieving strong reconstruction
results from only 4 views and significantly outperforming previous
state-of-the-art methods.
- Abstract（参考訳）: 高度にスパースなビューからの3dオブジェクトの再構築とレンダリングは、3dビジョン技術の適用を促進し、ユーザエクスペリエンスを改善する上で非常に重要である。
しかし、スパースビューの画像は、非常に限られた3D情報しか含まないため、2つの大きな課題に繋がる。
1)マッチング画像としてのマルチビュー一貫性構築の難しさは少なすぎる。
2)ビューカバレッジが不十分なため,部分的に省略あるいは高度に圧縮されたオブジェクト情報。
これらの課題に対処するために,GaussianObjectを提案する。Gaussian Splattingで3Dオブジェクトを表現・描画するフレームワークで,入力画像4枚だけで高画質を実現する。
まず,初期最適化プロセスに構造先行を明示的に注入し,多視点整合性の構築を支援し,粗い3次元ガウス表現をもたらす視覚的船体・フローター除去技術を紹介する。
次に, 拡散モデルに基づくガウス補修モデルを構築し, 省略された対象情報を補うことにより, ガウス補修モデルを構築する。
修復モデルを訓練するための画像ペアを得るための自己生成戦略を設計する。
我々のGaussianObjectは、MipNeRF360、OmniObject3D、OpenIlluminationなど、いくつかの挑戦的なデータセットで評価され、わずか4つのビューから強力な再構築結果が得られ、従来の最先端手法よりも大幅に優れている。
関連論文リスト
- NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。
我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
論文 参考訳（メタデータ） (2024-11-25T07:57:17Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。
階層的な3Dガウスを粗大な戦略で生成する。
これにより、再構築品質とデータセット間の一般化が大幅に向上する。
論文 参考訳（メタデータ） (2024-10-08T17:59:32Z) - Self-augmented Gaussian Splatting with Structure-aware Masks for Sparse-view 3D Reconstruction [9.953394373473621]
スパースビュー3D再構成は、コンピュータビジョンにおいて非常に難しい課題である。
本稿では,構造対応マスクにより拡張された自己拡張型粗大なガウススプラッティングパラダイムを提案する。
本手法は,知覚的品質と効率の両面において,スパース入力ビューの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-08-09T03:09:22Z) - GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。
モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。
最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
論文 参考訳（メタデータ） (2024-07-05T03:43:08Z) - Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。
単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。
Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2024-06-26T19:37:07Z) - CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
2次元画像空間で制御できる構造付きガウス表現を導入する。
次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。
我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
論文 参考訳（メタデータ） (2024-03-28T15:27:13Z) - AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
Amortized Generative 3D Gaussian framework (AGG) を導入する。
AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。
本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
論文 参考訳（メタデータ） (2024-01-08T18:56:33Z) - Sparse-view CT Reconstruction with 3D Gaussian Volumetric Representation [13.667470059238607]
Sparse-view CTは従来のCTスキャンの放射線線量を減らすための有望な戦略である。
近年、3Dガウスアンは複雑な自然シーンのモデル化に応用されている。
スパース・ビューCT再建の可能性について検討した。
論文 参考訳（メタデータ） (2023-12-25T09:47:33Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2023-11-22T20:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。