論文の概要: GS-Net: Generalizable Plug-and-Play 3D Gaussian Splatting Module

• arxiv url: http://arxiv.org/abs/2409.11307v1
• Date: Tue, 17 Sep 2024 16:03:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 15:47:41.002911
• Title: GS-Net: Generalizable Plug-and-Play 3D Gaussian Splatting Module
• Title（参考訳）: GS-Net: 汎用的なPlug-and-Play 3D Gaussian Splatting Module
• Authors: Yichen Zhang, Zihan Wang, Jiali Han, Peilin Li, Jiaxun Zhang, Jianqiang Wang, Lei He, Keqiang Li,
• Abstract要約: 粗いSfM点雲からガウス楕円体を密度化する3DGSモジュールであるGS-Netを提案する。 実験により、GS-Netを3DGSに適用すると、従来の視点では2.08dB、新しい視点では1.86dBのPSNR改善が得られることが示された。
• 参考スコア（独自算出の注目度）: 19.97023389064118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D Gaussian Splatting (3DGS) integrates the strengths of primitive-based representations and volumetric rendering techniques, enabling real-time, high-quality rendering. However, 3DGS models typically overfit to single-scene training and are highly sensitive to the initialization of Gaussian ellipsoids, heuristically derived from Structure from Motion (SfM) point clouds, which limits both generalization and practicality. To address these limitations, we propose GS-Net, a generalizable, plug-and-play 3DGS module that densifies Gaussian ellipsoids from sparse SfM point clouds, enhancing geometric structure representation. To the best of our knowledge, GS-Net is the first plug-and-play 3DGS module with cross-scene generalization capabilities. Additionally, we introduce the CARLA-NVS dataset, which incorporates additional camera viewpoints to thoroughly evaluate reconstruction and rendering quality. Extensive experiments demonstrate that applying GS-Net to 3DGS yields a PSNR improvement of 2.08 dB for conventional viewpoints and 1.86 dB for novel viewpoints, confirming the method's effectiveness and robustness.
• Abstract（参考訳）: 3D Gaussian Splatting (3DGS)は、プリミティブベースの表現とボリュームレンダリングの長所を統合し、リアルタイムで高品質なレンダリングを可能にする。 しかし、3DGSモデルは典型的にはシングルシーントレーニングに過度に適合し、一般化と実用性の両方を制限するSfM(Structure from Motion)点雲からヒューリスティックに派生したガウス楕円体の初期化に非常に敏感である。 これらの制約に対処するため,GS-Netを提案する。これはガウス楕円体をスパースSfM点雲から高密度化し,幾何学的構造表現を向上する汎用3DGSモジュールである。 我々の知る限り、GS-Netはクロスシーンの一般化機能を備えた最初のプラグアンドプレイ3DGSモジュールです。 さらに、CARLA-NVSデータセットを導入し、追加のカメラ視点を取り入れて、再現性とレンダリング品質を徹底的に評価する。 3DGSにGS-Netを適用すると、従来の視点では2.08dB、新しい視点では1.86dBのPSNRが向上し、手法の有効性と堅牢性が確認される。

関連論文リスト

• GS2Pose: Two-stage 6D Object Pose Estimation Guided by Gaussian Splatting [4.465134753953128]
  本稿では,GS2Pose と呼ばれる新しい物体の高精度でロバストな6次元ポーズ推定法を提案する。 GS2Poseは3次元ガウススプラッティングを導入することで,高品質CADモデルを必要とせずに再構成結果を利用することができる。 GS2Poseのコードは、間もなくGitHubでリリースされる。
  論文  参考訳（メタデータ） (2024-11-06T10:07:46Z)
• GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
  3D Gaussian Splatting (3DGS) は、空間的特徴を持つ3次元幾何学とシーンの外観の両方をコンパクトに符号化することができる。 モデルの空間的理解を改善するために,高密度キーポイント記述子を3DGSに蒸留することを提案する。 提案手法はNeRFMatchやPNeRFLocなど,最先端のニューラル・レンダー・ポース(NRP)法を超越した手法である。
  論文  参考訳（メタデータ） (2024-09-24T23:18:32Z)
• ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining [104.34751911174196]
  ShapeNetとModelNetを用いた大規模3DGSデータセットを構築した。 データセットのShapeSplatは、87のユニークなカテゴリから65Kのオブジェクトで構成されています。 textbftextitGaussian-MAEを導入し、ガウスパラメータからの表現学習の独特な利点を強調した。
  論文  参考訳（メタデータ） (2024-08-20T14:49:14Z)
• RetinaGS: Scalable Training for Dense Scene Rendering with Billion-Scale 3D Gaussians [12.461531097629857]
  我々は、適切なレンダリング方程式を用いた3DGSの一般的なモデル並列トレーニング手法であるRetinaGSを設計する。 本手法により,原始的な数を増やすと,視覚的品質が向上する傾向が明らかになる。 また、完全なMatrixCityデータセット上に10億以上のプリミティブを持つ3DGSモデルをトレーニングする最初の試みを実演する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:56Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。 また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。 我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
  本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
  論文  参考訳（メタデータ） (2024-04-29T23:26:30Z)
• GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
  GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。 周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
  論文  参考訳（メタデータ） (2024-02-15T17:32:50Z)
• GS-CLIP: Gaussian Splatting for Contrastive Language-Image-3D Pretraining from Real-World Data [73.06536202251915]
  ポイントクラウドとして表される3D形状は、画像と言語記述を整列させるために、マルチモーダル事前トレーニングの進歩を実現している。 GS-CLIPは,3D表現を向上させるために,マルチモーダル事前学習に3DGSを導入するための最初の試みである。
  論文  参考訳（メタデータ） (2024-02-09T05:46:47Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。