論文の概要: Self-augmented Gaussian Splatting with Structure-aware Masks for Sparse-view 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2408.04831v1
• Date: Fri, 9 Aug 2024 03:09:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 16:48:31.532550
• Title: Self-augmented Gaussian Splatting with Structure-aware Masks for Sparse-view 3D Reconstruction
• Title（参考訳）: Sparse-view 3Dリコンストラクションのための構造対応マスクを用いた自己拡張型ガウススプラッティング
• Authors: Lingbei Meng, Bi'an Du, Wei Hu,
• Abstract要約: スパースビュー3D再構成は、コンピュータビジョンにおいて非常に難しい課題である。 本稿では,構造対応マスクにより拡張された自己拡張型粗大なガウススプラッティングパラダイムを提案する。 本手法は,知覚的品質と効率の両面において,スパース入力ビューの最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 9.953394373473621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse-view 3D reconstruction stands as a formidable challenge in computer vision, aiming to build complete three-dimensional models from a limited array of viewing perspectives. This task confronts several difficulties: 1) the limited number of input images that lack consistent information; 2) dependence on the quality of input images; and 3) the substantial size of model parameters. To address these challenges, we propose a self-augmented coarse-to-fine Gaussian splatting paradigm, enhanced with a structure-aware mask, for sparse-view 3D reconstruction. In particular, our method initially employs a coarse Gaussian model to obtain a basic 3D representation from sparse-view inputs. Subsequently, we develop a fine Gaussian network to enhance consistent and detailed representation of the output with both 3D geometry augmentation and perceptual view augmentation. During training, we design a structure-aware masking strategy to further improve the model's robustness against sparse inputs and noise.Experimental results on the MipNeRF360 and OmniObject3D datasets demonstrate that the proposed method achieves state-of-the-art performances for sparse input views in both perceptual quality and efficiency.
• Abstract（参考訳）: スパースビュー3D再構成は、限られた視点から完全な3次元モデルを構築することを目的として、コンピュータビジョンにおいて非常に難しい課題である。 この課題はいくつかの困難に直面します。 1) 一貫した情報を持たない入力画像の限られた数 2)入力画像の品質への依存,及び 3)モデルパラメータのかなりのサイズ。 これらの課題に対処するために、スパースビュー3次元再構成のための構造認識マスクにより強化された自己拡張された粗大なガウススプラッティングパラダイムを提案する。 特に,本手法ではまず粗いガウスモデルを用いて,スパースビュー入力から基本的な3次元表現を得る。 続いて,3次元幾何学的拡張と知覚的視点的拡張の両面から,出力の一貫性と詳細な表現を強化するための微細ガウスネットワークを開発した。 MipNeRF360 と OmniObject3D データセットを用いた実験結果から,提案手法が知覚的品質と効率の両方でスパース入力ビューの最先端性能を達成することを示す。

関連論文リスト

• F3D-Gaus: Feed-forward 3D-aware Generation on ImageNet with Cycle-Consistent Gaussian Splatting [35.625593119642424]
  本稿では,モノケプラーデータセットから3次元認識を一般化する問題に取り組む。 画素整列型ガウススプラッティングに基づく新しいフィードフォワードパイプラインを提案する。 また、学習した3D表現において、クロスビューの一貫性を強制するために、自己教師付きサイクル一貫性制約を導入する。
  論文  参考訳（メタデータ） (2025-01-12T04:44:44Z)
• DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
  本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。 実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
  論文  参考訳（メタデータ） (2024-12-11T07:32:17Z)
• NovelGS: Consistent Novel-view Denoising via Large Gaussian Reconstruction Model [57.92709692193132]
  NovelGSは、スパースビュー画像が与えられたガウススプラッティングの拡散モデルである。 我々は3Dガウスを生成するためにトランスフォーマーネットワークを経由する新しい視点を利用する。
  論文  参考訳（メタデータ） (2024-11-25T07:57:17Z)
• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• UniG: Modelling Unitary 3D Gaussians for View-consistent 3D Reconstruction [20.089890859122168]
  ビュー一貫性を持つ3次元再構成と新しいビュー合成モデルUniGを提案する。 UniGはスパース画像から3Dガウスの高忠実度表現を生成する。
  論文  参考訳（メタデータ） (2024-10-17T03:48:02Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians [18.42203035154126]
  2次元画像空間で制御できる構造付きガウス表現を導入する。 次に、ガウス群、特にその位置を制約し、最適化中に独立に動くのを防ぐ。 我々は,様々な場面における最先端のスパースビュー NeRF ベースのアプローチと比較して,顕著な改善を示した。
  論文  参考訳（メタデータ） (2024-03-28T15:27:13Z)
• GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting [82.29476781526752]
  高度にスパースな視点から3Dオブジェクトを再構成・レンダリングすることは、3Dビジョン技術の応用を促進する上で非常に重要である。 GaussianObjectは、Gaussian splattingで3Dオブジェクトを表現してレンダリングするフレームワークで、4つの入力イメージだけで高いレンダリング品質を実現する。 GaussianObjectは、MipNeRF360、OmniObject3D、OpenIllumination、および私たちが収集した未提示画像など、いくつかの挑戦的なデータセットで評価されている。
  論文  参考訳（メタデータ） (2024-02-15T18:42:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。