論文の概要: HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction

• arxiv url: http://arxiv.org/abs/2410.06245v1
• Date: Tue, 8 Oct 2024 17:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 10:21:03.851605
• Title: HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction
• Title（参考訳）: HiSplat: 一般化可能なスパースビューリコンストラクションのための階層型3次元ガウススプラッティング
• Authors: Shengji Tang, Weicai Ye, Peng Ye, Weihao Lin, Yang Zhou, Tao Chen, Wanli Ouyang,
• Abstract要約: HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
• 参考スコア（独自算出の注目度）: 46.269350101349715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing 3D scenes from multiple viewpoints is a fundamental task in stereo vision. Recently, advances in generalizable 3D Gaussian Splatting have enabled high-quality novel view synthesis for unseen scenes from sparse input views by feed-forward predicting per-pixel Gaussian parameters without extra optimization. However, existing methods typically generate single-scale 3D Gaussians, which lack representation of both large-scale structure and texture details, resulting in mislocation and artefacts. In this paper, we propose a novel framework, HiSplat, which introduces a hierarchical manner in generalizable 3D Gaussian Splatting to construct hierarchical 3D Gaussians via a coarse-to-fine strategy. Specifically, HiSplat generates large coarse-grained Gaussians to capture large-scale structures, followed by fine-grained Gaussians to enhance delicate texture details. To promote inter-scale interactions, we propose an Error Aware Module for Gaussian compensation and a Modulating Fusion Module for Gaussian repair. Our method achieves joint optimization of hierarchical representations, allowing for novel view synthesis using only two-view reference images. Comprehensive experiments on various datasets demonstrate that HiSplat significantly enhances reconstruction quality and cross-dataset generalization compared to prior single-scale methods. The corresponding ablation study and analysis of different-scale 3D Gaussians reveal the mechanism behind the effectiveness. Project website: https://open3dvlab.github.io/HiSplat/
• Abstract（参考訳）: 複数の視点から3Dシーンを再構築することはステレオビジョンの基本的な課題である。 近年、一般化可能な3Dガウススプラッティングの進歩により、余分な最適化なしに画素ごとのガウスパラメータをフィードフォワード予測することで、スパース入力ビューから見えないシーンの高品質な新規ビュー合成が可能になった。 しかし、既存の手法は通常、大規模な構造とテクスチャの細部の両方の表現が欠けている単一スケールの3Dガウシアンを生成する。 本稿では,階層型3次元ガウススプラッティングの階層的手法を導入し,階層型3次元ガウススプラッティングを粗大な戦略により構築する新しいフレームワーク,HiSplatを提案する。 特に、HiSplatは巨大な粗粒のガウシアンを生成して大規模な構造物を捕獲し、さらに細粒のガウシアンを使って繊細なテクスチャの細部を拡大する。 本稿では,ガウス補償のための誤り認識モジュールとガウス補修のための修正融合モジュールを提案する。 提案手法は階層表現の協調最適化を実現し,2視点参照画像のみを用いた新しいビュー合成を実現する。 様々なデータセットに対する総合的な実験により、HiSplatは以前の単一スケール手法と比較して再構築品質とデータセット間の一般化を著しく向上させることが示された。 異なるスケールの3Dガウスのアブレーション研究と分析は、その効果の裏にあるメカニズムを明らかにしている。 プロジェクトウェブサイト: https://open3dvlab.github.io/HiSplat/

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• Structure Consistent Gaussian Splatting with Matching Prior for Few-shot Novel View Synthesis [28.3325478008559]
  SCGaussian, structure Consistent Gaussian Splatting method using matching priors to learn 3D consistent scene structure。 シーン構造を2つの折り畳みで最適化する: 幾何学の描画とより重要なのは、ガウス原始体の位置である。 前方, 周囲, 複雑な大規模シーンにおける実験により, 最先端性能と高効率性によるアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2024-11-06T03:28:06Z)
• PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
  PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:58Z)
• ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
  ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。 データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。 textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
  論文  参考訳（メタデータ） (2024-08-20T14:49:14Z)
• Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
  3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。 その可能性にもかかわらず、3DGSは針のようなアーティファクト、準最適ジオメトリー、不正確な正常など、課題に直面している。 正規化として有効なランクを導入し、ガウスの構造を制約する。
  論文  参考訳（メタデータ） (2024-06-17T15:51:59Z)
• GSGAN: Adversarial Learning for Hierarchical Generation of 3D Gaussian Splats [20.833116566243408]
  本稿では,Gaussianを3D GANの3次元表現として利用し,その効率的かつ明示的な特徴を活用する。 生成したガウスの位置とスケールを効果的に正規化する階層的多スケールガウス表現を持つジェネレータアーキテクチャを導入する。 実験結果から,最先端の3D一貫したGANと比較して,レンダリング速度(x100)が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-06-05T05:52:20Z)
• AbsGS: Recovering Fine Details for 3D Gaussian Splatting [10.458776364195796]
  3D Gaussian Splatting (3D-GS) 技術は3Dプリミティブを相違可能なガウス化と組み合わせて高品質な新規ビュー結果を得る。 しかし、3D-GSは、高頻度の詳細を含む複雑なシーンで過度に再構成の問題に悩まされ、ぼやけた描画画像に繋がる。 本稿では,前述の人工物,すなわち勾配衝突の原因を包括的に分析する。 我々の戦略は過度に再構成された地域のガウス人を効果的に同定し、分割して細部を復元する。
  論文  参考訳（メタデータ） (2024-04-16T11:44:12Z)
• GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views [9.175560202201819]
  3Dガウススプラッティング(3DGS)はシーンを正確に表現するための効率的なアプローチとして登場した。 本稿では,ノイズの多い3DGS表現とスムーズな3Dメッシュ表現とのギャップを埋めるための新しい手法を提案する。 私たちは、オリジナルのトレーニングポーズに対応するステレオアライメントされたイメージのペアをレンダリングし、ペアをステレオモデルに入力して深度プロファイルを取得し、最後にすべてのプロファイルを融合して単一のメッシュを得る。
  論文  参考訳（メタデータ） (2024-04-02T10:13:18Z)
• GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting [82.29476781526752]
  高度にスパースな視点から3Dオブジェクトを再構成・レンダリングすることは、3Dビジョン技術の応用を促進する上で非常に重要である。 GaussianObjectは、Gaussian splattingで3Dオブジェクトを表現してレンダリングするフレームワークで、4つの入力イメージだけで高いレンダリング品質を実現する。 GaussianObjectは、MipNeRF360、OmniObject3D、OpenIllumination、および私たちが収集した未提示画像など、いくつかの挑戦的なデータセットで評価されている。
  論文  参考訳（メタデータ） (2024-02-15T18:42:33Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。