論文の概要: GBR: Generative Bundle Refinement for High-fidelity Gaussian Splatting and Meshing

• arxiv url: http://arxiv.org/abs/2412.05908v1
• Date: Sun, 08 Dec 2024 12:00:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:04.956276
• Title: GBR: Generative Bundle Refinement for High-fidelity Gaussian Splatting and Meshing
• Title（参考訳）: GBR:高忠実なガウス平滑化とメッシュ化のための生成的バンドルリファインメント
• Authors: Jianing Zhang, Yuchao Zheng, Ziwei Li, Qionghai Dai, Xiaoyun Yuan,
• Abstract要約: GBR(Generative Bundle Refinement)は、4-6の入力ビューのみを用いた高忠実なガウススプラッティングとメッシュ化のための手法である。 GBRは、幾何学的精度を高めるために神経束調整モジュールと、幾何学的忠実性を改善するために生成深度改善モジュールを統合している。 GBRは、大規模な現実世界のシーンを再構築し、レンダリングする能力を示している。
• 参考スコア（独自算出の注目度）: 27.747748706297497
• License:
• Abstract: Gaussian splatting has gained attention for its efficient representation and rendering of 3D scenes using continuous Gaussian primitives. However, it struggles with sparse-view inputs due to limited geometric and photometric information, causing ambiguities in depth, shape, and texture. we propose GBR: Generative Bundle Refinement, a method for high-fidelity Gaussian splatting and meshing using only 4-6 input views. GBR integrates a neural bundle adjustment module to enhance geometry accuracy and a generative depth refinement module to improve geometry fidelity. More specifically, the neural bundle adjustment module integrates a foundation network to produce initial 3D point maps and point matches from unposed images, followed by bundle adjustment optimization to improve multiview consistency and point cloud accuracy. The generative depth refinement module employs a diffusion-based strategy to enhance geometric details and fidelity while preserving the scale. Finally, for Gaussian splatting optimization, we propose a multimodal loss function incorporating depth and normal consistency, geometric regularization, and pseudo-view supervision, providing robust guidance under sparse-view conditions. Experiments on widely used datasets show that GBR significantly outperforms existing methods under sparse-view inputs. Additionally, GBR demonstrates the ability to reconstruct and render large-scale real-world scenes, such as the Pavilion of Prince Teng and the Great Wall, with remarkable details using only 6 views.
• Abstract（参考訳）: ガウス的スプラッティングは、連続ガウス的プリミティブを用いた3次元シーンの効率的な表現とレンダリングで注目を集めている。 しかし、幾何学的・測光的な情報が限られており、深さ、形状、テクスチャの曖昧さを生じさせるため、スパースビューの入力に苦慮している。 GBR(Generative Bundle Refinement)は、4-6の入力ビューのみを用いた高忠実なガウススプラッティングとメッシュ化のための手法である。 GBRは、幾何学的精度を高めるために神経束調整モジュールと、幾何学的忠実性を改善するために生成深度改善モジュールを統合している。 より具体的には、ニューラルネットワーク調整モジュールはファンデーションネットワークを統合して、未提示の画像から初期3Dポイントマップとポイントマッチを生成する。 生成深度改善モジュールは、拡散に基づく戦略を用いて、スケールを保ちながら幾何学的詳細と忠実さを高める。 最後に, 奥行きと正規整合性, 幾何正則化, 擬似視監督を取り入れたマルチモーダル損失関数を提案し, スパースビュー条件下での堅牢なガイダンスを提供する。 広く使われているデータセットの実験では、GBRはスパースビュー入力の既存手法よりも大幅に優れていた。 さらに、GBRは、天王太子のパビリオンや大壁など、大規模な現実世界のシーンを再構築し、レンダリングする能力を示している。

関連論文リスト

• GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
  スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。 我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。 いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-18T08:18:44Z)
• CityGaussianV2: Efficient and Geometrically Accurate Reconstruction for Large-Scale Scenes [53.107474952492396]
  CityGaussianV2は大規模なシーン再構築のための新しいアプローチである。 分解段階の密度化・深さ回帰手法を実装し, ぼやけたアーチファクトを除去し, 収束を加速する。 本手法は, 視覚的品質, 幾何学的精度, ストレージ, トレーニングコストの両立を図っている。
  論文  参考訳（メタデータ） (2024-11-01T17:59:31Z)
• PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
  PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:58Z)
• MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
  3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。 既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。 本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
  論文  参考訳（メタデータ） (2024-10-15T08:39:05Z)
• MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
  本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。 各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。 提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
  論文  参考訳（メタデータ） (2024-10-11T16:07:59Z)
• HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
  HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:32Z)
• Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering [47.879695094904015]
  そこで本研究では,地上ロボット軌道データセットのための新しいビューレンダリングアルゴリズムであるMode-GSを提案する。 提案手法は,既存の3次元ガウススプラッティングアルゴリズムの限界を克服する目的で,アンカー付きガウススプラッターを用いている。 提案手法は,PSNR,SSIM,LPIPSの計測値に基づいて,自由軌道パターンを持つ地上環境におけるレンダリング性能を向上する。
  論文  参考訳（メタデータ） (2024-10-06T23:01:57Z)
• GaRField++: Reinforced Gaussian Radiance Fields for Large-Scale 3D Scene Reconstruction [1.7624442706463355]
  本稿では,3次元ガウススプラッティングに基づく大規模シーン再構築のための新しい枠組みを提案する(3DGS)。 スケーラビリティ問題に対処するため,大規模シーンを複数のセルに分割し,各セルの候補ポイントクラウドとカメラビューとを相関させる。 本研究では,大規模シーン再構成の最先端手法よりも連続的に高忠実度レンダリング結果を生成することを示す。
  論文  参考訳（メタデータ） (2024-09-19T13:43:31Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。