論文の概要: HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction
- arxiv url: http://arxiv.org/abs/2410.06245v1
- Date: Tue, 8 Oct 2024 17:59:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-01 10:21:03.851605
- Title: HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction
- Title（参考訳）: HiSplat: 一般化可能なスパースビューリコンストラクションのための階層型3次元ガウススプラッティング
- Authors: Shengji Tang, Weicai Ye, Peng Ye, Weihao Lin, Yang Zhou, Tao Chen, Wanli Ouyang,
- Abstract要約: HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。
階層的な3Dガウスを粗大な戦略で生成する。
これにより、再構築品質とデータセット間の一般化が大幅に向上する。
- 参考スコア（独自算出の注目度）: 46.269350101349715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing 3D scenes from multiple viewpoints is a fundamental task in stereo vision. Recently, advances in generalizable 3D Gaussian Splatting have enabled high-quality novel view synthesis for unseen scenes from sparse input views by feed-forward predicting per-pixel Gaussian parameters without extra optimization. However, existing methods typically generate single-scale 3D Gaussians, which lack representation of both large-scale structure and texture details, resulting in mislocation and artefacts. In this paper, we propose a novel framework, HiSplat, which introduces a hierarchical manner in generalizable 3D Gaussian Splatting to construct hierarchical 3D Gaussians via a coarse-to-fine strategy. Specifically, HiSplat generates large coarse-grained Gaussians to capture large-scale structures, followed by fine-grained Gaussians to enhance delicate texture details. To promote inter-scale interactions, we propose an Error Aware Module for Gaussian compensation and a Modulating Fusion Module for Gaussian repair. Our method achieves joint optimization of hierarchical representations, allowing for novel view synthesis using only two-view reference images. Comprehensive experiments on various datasets demonstrate that HiSplat significantly enhances reconstruction quality and cross-dataset generalization compared to prior single-scale methods. The corresponding ablation study and analysis of different-scale 3D Gaussians reveal the mechanism behind the effectiveness. Project website: https://open3dvlab.github.io/HiSplat/
- Abstract（参考訳）: 複数の視点から3Dシーンを再構築することはステレオビジョンの基本的な課題である。
近年、一般化可能な3Dガウススプラッティングの進歩により、余分な最適化なしに画素ごとのガウスパラメータをフィードフォワード予測することで、スパース入力ビューから見えないシーンの高品質な新規ビュー合成が可能になった。
しかし、既存の手法は通常、大規模な構造とテクスチャの細部の両方の表現が欠けている単一スケールの3Dガウシアンを生成する。
本稿では,階層型3次元ガウススプラッティングの階層的手法を導入し,階層型3次元ガウススプラッティングを粗大な戦略により構築する新しいフレームワーク,HiSplatを提案する。
特に、HiSplatは巨大な粗粒のガウシアンを生成して大規模な構造物を捕獲し、さらに細粒のガウシアンを使って繊細なテクスチャの細部を拡大する。
本稿では,ガウス補償のための誤り認識モジュールとガウス補修のための修正融合モジュールを提案する。
提案手法は階層表現の協調最適化を実現し,2視点参照画像のみを用いた新しいビュー合成を実現する。
様々なデータセットに対する総合的な実験により、HiSplatは以前の単一スケール手法と比較して再構築品質とデータセット間の一般化を著しく向上させることが示された。
異なるスケールの3Dガウスのアブレーション研究と分析は、その効果の裏にあるメカニズムを明らかにしている。
プロジェクトウェブサイト: https://open3dvlab.github.io/HiSplat/
関連論文リスト
- Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction [6.273357335397336]
本稿では,フィードフォワードモデルにより生成されたガウスを高効率で一般化可能な手法であるジェネレーティブ・デンシフィケーションを提案する。
提案手法は, モデルサイズが同等あるいは小さく, 最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-12-09T06:20:51Z) - Planar Gaussian Splatting [42.74999794635269]
Planar Gaussian Splatting (PGS)は、3D幾何学を学習し、シーンの3D平面を解析する新しいニューラルネットワーク手法である。
PGSは3次元平面ラベルや深度監視を必要とせず、3次元平面再構成における最先端の性能を達成する。
論文 参考訳（メタデータ） (2024-12-02T19:46:43Z) - SmileSplat: Generalizable Gaussian Splats for Unconstrained Sparse Images [91.28365943547703]
SmileSplatという新しい一般化可能なガウス格子法が提案され,様々なシナリオに対して画素整列ガウス波を再構成する。
提案手法は,様々な3次元視覚タスクにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2024-11-27T05:52:28Z) - GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。
提案手法は,様々な視点によく一般化した最先端性能を実現する。
論文 参考訳（メタデータ） (2024-10-24T17:59:58Z) - ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。
データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。
textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
論文 参考訳（メタデータ） (2024-08-20T14:49:14Z) - Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。
その可能性にもかかわらず、3DGSは針状アーティファクト、準最適ジオメトリー、不正確な正常といった課題に遭遇する。
正規化として有効ランクを導入し、ガウスの構造を制約する。
論文 参考訳（メタデータ） (2024-06-17T15:51:59Z) - GSGAN: Adversarial Learning for Hierarchical Generation of 3D Gaussian Splats [20.833116566243408]
本稿では,Gaussianを3D GANの3次元表現として利用し,その効率的かつ明示的な特徴を活用する。
生成したガウスの位置とスケールを効果的に正規化する階層的多スケールガウス表現を持つジェネレータアーキテクチャを導入する。
実験結果から,最先端の3D一貫したGANと比較して,レンダリング速度(x100)が大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-06-05T05:52:20Z) - AbsGS: Recovering Fine Details for 3D Gaussian Splatting [10.458776364195796]
3D Gaussian Splatting (3D-GS) 技術は3Dプリミティブを相違可能なガウス化と組み合わせて高品質な新規ビュー結果を得る。
しかし、3D-GSは、高頻度の詳細を含む複雑なシーンで過度に再構成の問題に悩まされ、ぼやけた描画画像に繋がる。
本稿では,前述の人工物,すなわち勾配衝突の原因を包括的に分析する。
我々の戦略は過度に再構成された地域のガウス人を効果的に同定し、分割して細部を復元する。
論文 参考訳（メタデータ） (2024-04-16T11:44:12Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳（メタデータ） (2024-02-15T17:32:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。