論文の概要: MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering

• arxiv url: http://arxiv.org/abs/2410.08941v1
• Date: Fri, 11 Oct 2024 16:07:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 20:56:20.248843
• Title: MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering
• Title（参考訳）: MeshGS: 高品質レンダリングのための適応型メッシュアライメントガウシアンスプレイティング
• Authors: Jaehoon Choi, Yonghan Lee, Hyungtae Lee, Heesung Kwon, Dinesh Manocha,
• Abstract要約: 本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。 各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。 提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
• 参考スコア（独自算出の注目度）: 61.64903786502728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, 3D Gaussian splatting has gained attention for its capability to generate high-fidelity rendering results. At the same time, most applications such as games, animation, and AR/VR use mesh-based representations to represent and render 3D scenes. We propose a novel approach that integrates mesh representation with 3D Gaussian splats to perform high-quality rendering of reconstructed real-world scenes. In particular, we introduce a distance-based Gaussian splatting technique to align the Gaussian splats with the mesh surface and remove redundant Gaussian splats that do not contribute to the rendering. We consider the distance between each Gaussian splat and the mesh surface to distinguish between tightly-bound and loosely-bound Gaussian splats. The tightly-bound splats are flattened and aligned well with the mesh geometry. The loosely-bound Gaussian splats are used to account for the artifacts in reconstructed 3D meshes in terms of rendering. We present a training strategy of binding Gaussian splats to the mesh geometry, and take into account both types of splats. In this context, we introduce several regularization techniques aimed at precisely aligning tightly-bound Gaussian splats with the mesh surface during the training process. We validate the effectiveness of our method on large and unbounded scene from mip-NeRF 360 and Deep Blending datasets. Our method surpasses recent mesh-based neural rendering techniques by achieving a 2dB higher PSNR, and outperforms mesh-based Gaussian splatting methods by 1.3 dB PSNR, particularly on the outdoor mip-NeRF 360 dataset, demonstrating better rendering quality. We provide analyses for each type of Gaussian splat and achieve a reduction in the number of Gaussian splats by 30% compared to the original 3D Gaussian splatting.
• Abstract（参考訳）: 近年,3Dガウススプラッティングは高忠実度レンダリング結果を生成する能力に注目されている。 同時に、ゲーム、アニメーション、AR/VRといったほとんどのアプリケーションは、メッシュベースの表現を使用して3Dシーンを表現および描画する。 本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。 特に、距離に基づくガウススプラッティング手法を導入し、メッシュ表面とガウススプラットを整列させ、レンダリングに寄与しない冗長ガウススプラットを除去する。 それぞれのガウススプラットとメッシュ表面の間の距離を,強結合と緩結合ガウススプラットの区別として検討する。 タイトなバウンドのスプレートは平らで、メッシュ形状とよく整合している。 ゆるやかにバウンドしたガウススプレートは、レンダリングの観点から再構成された3Dメッシュのアーティファクトを説明するために使用される。 メッシュ幾何学にガウススプラットを結合する学習戦略を提案し,両タイプのスプラットを考慮に入れた。 この文脈では,トレーニング過程において,厳密な境界を持つガウススプラットとメッシュ表面を正確に整合させることを目的とした,いくつかの正規化手法を導入する。 我々は,mip-NeRF 360とDeep Blendingデータセットを用いた大規模・非有界シーンにおける本手法の有効性を検証した。 提案手法は、2dB以上のPSNRを達成し、特に屋外のmip-NeRF 360データセットにおいて、メッシュベースのガウススプラッティング法を1.3dBPSNRで上回り、より優れたレンダリング品質を示す。 本研究では,ガウススプラットの種類別に分析を行い,元の3次元ガウススプラッティングと比較してガウススプラットの数を30%削減する。

関連論文リスト

• Neural Signed Distance Function Inference through Splatting 3D Gaussians Pulled on Zero-Level Set [49.780302894956776]
  多視点表面再構成における符号付き距離関数(SDF)の推測は不可欠である。 本稿では3DGSとニューラルSDFの学習をシームレスに融合する手法を提案する。 我々の数値的および視覚的比較は、広く使用されているベンチマークの最先端結果よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-18T05:48:06Z)
• HiSplat: Hierarchical 3D Gaussian Splatting for Generalizable Sparse-View Reconstruction [46.269350101349715]
  HiSplatは、一般化可能な3Dガウススプラッティングのための新しいフレームワークである。 階層的な3Dガウスを粗大な戦略で生成する。 これにより、再構築品質とデータセット間の一般化が大幅に向上する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:32Z)
• RaDe-GS: Rasterizing Depth in Gaussian Splatting [32.38730602146176]
  Gaussian Splatting (GS) は、高品質でリアルタイムなレンダリングを実現するために、新しいビュー合成に非常に効果的であることが証明されている。 本研究は,DTUデータセット上のNeuraLangeloに匹敵するチャムファー距離誤差を導入し,元の3D GS法と同様の計算効率を維持する。
  論文  参考訳（メタデータ） (2024-06-03T15:56:58Z)
• Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
  Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。 GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。 GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
  論文  参考訳（メタデータ） (2024-04-16T17:57:19Z)
• MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images [102.7646120414055]
  入力としてスパースなマルチビュー画像を与えられたMVSplatは、クリーンなフィードフォワード3Dガウスを予測できる。 大規模RealEstate10KとACIDベンチマークでは、MVSplatは高速フィードフォワード推論速度(22fps)で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-21T17:59:58Z)
• GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
  メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。 また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
  論文  参考訳（メタデータ） (2024-02-02T14:50:23Z)
• NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting Guidance [59.08521048003009]
  本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。 3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。 我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
  論文  参考訳（メタデータ） (2023-12-01T07:04:47Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering [24.91019554830571]
  本稿では,3次元ガウス格子から高精度かつ極めて高速なメッシュ抽出を可能にする手法を提案する。 しかし、これらのガウス人は最適化後に非組織化される傾向があるため、何百万もの小さな3Dガウスからメッシュを抽出することは困難である。
  論文  参考訳（メタデータ） (2023-11-21T18:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。