論文の概要: Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction

• arxiv url: http://arxiv.org/abs/2412.06234v2
• Date: Thu, 12 Dec 2024 06:17:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:31:25.782771
• Title: Generative Densification: Learning to Densify Gaussians for High-Fidelity Generalizable 3D Reconstruction
• Title（参考訳）: ジェネレーティブ・デンシフィケーション:高忠実な一般化可能な3次元再構成のためのガウス的デンシフィケーションの学習
• Authors: Seungtae Nam, Xiangyu Sun, Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park,
• Abstract要約: 本稿では,フィードフォワードモデルにより生成されたガウスを高効率で一般化可能な手法であるジェネレーティブ・デンシフィケーションを提案する。 提案手法は, モデルサイズが同等あるいは小さく, 最先端の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 6.273357335397336
• License:
• Abstract: Generalized feed-forward Gaussian models have achieved significant progress in sparse-view 3D reconstruction by leveraging prior knowledge from large multi-view datasets. However, these models often struggle to represent high-frequency details due to the limited number of Gaussians. While the densification strategy used in per-scene 3D Gaussian splatting (3D-GS) optimization can be adapted to the feed-forward models, it may not be ideally suited for generalized scenarios. In this paper, we propose Generative Densification, an efficient and generalizable method to densify Gaussians generated by feed-forward models. Unlike the 3D-GS densification strategy, which iteratively splits and clones raw Gaussian parameters, our method up-samples feature representations from the feed-forward models and generates their corresponding fine Gaussians in a single forward pass, leveraging the embedded prior knowledge for enhanced generalization. Experimental results on both object-level and scene-level reconstruction tasks demonstrate that our method outperforms state-of-the-art approaches with comparable or smaller model sizes, achieving notable improvements in representing fine details.
• Abstract（参考訳）: 汎用フィードフォワードガウスモデルは、大規模なマルチビューデータセットからの事前知識を活用することで、スパースビュー3D再構成において大きな進歩を遂げた。 しかしながら、これらのモデルはガウスの数が限られているため、しばしば高周波の詳細を表現するのに苦労する。 3次元ガウススプラッティング(3D-GS)最適化における密度化戦略はフィードフォワードモデルに適応できるが、一般化シナリオには適していない。 本稿では,フィードフォワードモデルにより生成されたガウスを高効率で一般化可能な手法であるジェネレーティブデシフィケーションデシフィケーションを提案する。 生ガウスパラメータを反復的に分割・クローンする3D-GS密度化戦略とは異なり,本手法では,フィードフォワードモデルから特徴表現をアップサンプルし,それに対応する細かなガウス表現を1つのフォワードパスで生成する。 オブジェクトレベルの再現タスクとシーンレベルの再構築タスクの両方の実験結果から,本手法はモデルサイズを同等あるいは小さくすることで最先端の手法よりも優れており,細部を表現する上での顕著な改善が達成されている。

関連論文リスト

• HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
  HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:32Z)
• RetinaGS: Scalable Training for Dense Scene Rendering with Billion-Scale 3D Gaussians [12.461531097629857]
  我々は、適切なレンダリング方程式を用いた3DGSの一般的なモデル並列トレーニング手法であるRetinaGSを設計する。 本手法により,原始的な数を増やすと,視覚的品質が向上する傾向が明らかになる。 また、完全なMatrixCityデータセット上に10億以上のプリミティブを持つ3DGSモデルをトレーニングする最初の試みを実演する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:56Z)
• R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
  3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。 本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
  論文  参考訳（メタデータ） (2024-05-31T08:39:02Z)
• GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling [55.05713977022407]
  構造的かつ完全明快な放射率表現を導入し、3次元生成モデリングを大幅に促進する。 我々はまず,新しい密度制約付きガウス適合アルゴリズムを用いてガウスキューブを導出する。 非条件およびクラス条件オブジェクト生成、デジタルアバター生成、テキスト・トゥ・3Dによる実験は、我々のモデル合成が最先端の生成結果を達成することを示す。
  論文  参考訳（メタデータ） (2024-03-28T17:59:50Z)
• latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
  latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。 latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-24T20:48:36Z)
• GVGEN: Text-to-3D Generation with Volumetric Representation [89.55687129165256]
  3Dガウススプラッティングは、高速で高品質なレンダリング機能で知られる3D再構成と生成のための強力な技術として登場した。 本稿では,テキスト入力から3次元ガウス表現を効率的に生成する新しい拡散型フレームワークGVGENを提案する。
  論文  参考訳（メタデータ） (2024-03-19T17:57:52Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• Sparse-view CT Reconstruction with 3D Gaussian Volumetric Representation [13.667470059238607]
  Sparse-view CTは従来のCTスキャンの放射線線量を減らすための有望な戦略である。 近年、3Dガウスアンは複雑な自然シーンのモデル化に応用されている。 スパース・ビューCT再建の可能性について検討した。
  論文  参考訳（メタデータ） (2023-12-25T09:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。