論文の概要: SAGS: Structure-Aware 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2404.19149v1
- Date: Mon, 29 Apr 2024 23:26:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 15:53:21.672843
- Title: SAGS: Structure-Aware 3D Gaussian Splatting
- Title(参考訳): SAGS:構造を意識した3Dガウシアンスプレイティング
- Authors: Evangelos Ververas, Rolandos Alexandros Potamias, Jifei Song, Jiankang Deng, Stefanos Zafeiriou,
- Abstract要約: 本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
- 参考スコア(独自算出の注目度): 53.6730827668389
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Following the advent of NeRFs, 3D Gaussian Splatting (3D-GS) has paved the way to real-time neural rendering overcoming the computational burden of volumetric methods. Following the pioneering work of 3D-GS, several methods have attempted to achieve compressible and high-fidelity performance alternatives. However, by employing a geometry-agnostic optimization scheme, these methods neglect the inherent 3D structure of the scene, thereby restricting the expressivity and the quality of the representation, resulting in various floating points and artifacts. In this work, we propose a structure-aware Gaussian Splatting method (SAGS) that implicitly encodes the geometry of the scene, which reflects to state-of-the-art rendering performance and reduced storage requirements on benchmark novel-view synthesis datasets. SAGS is founded on a local-global graph representation that facilitates the learning of complex scenes and enforces meaningful point displacements that preserve the scene's geometry. Additionally, we introduce a lightweight version of SAGS, using a simple yet effective mid-point interpolation scheme, which showcases a compact representation of the scene with up to 24$\times$ size reduction without the reliance on any compression strategies. Extensive experiments across multiple benchmark datasets demonstrate the superiority of SAGS compared to state-of-the-art 3D-GS methods under both rendering quality and model size. Besides, we demonstrate that our structure-aware method can effectively mitigate floating artifacts and irregular distortions of previous methods while obtaining precise depth maps. Project page https://eververas.github.io/SAGS/.
- Abstract(参考訳): NeRFの出現に続いて、3Dガウススプラッティング(3D-GS)は、体積法の計算負担を克服するリアルタイムニューラルネットワークレンダリングへの道を開いた。
3D-GSの先駆的な研究に続いて、いくつかの手法が圧縮性および高忠実度性能の代替手段の実現を試みた。
しかし、幾何学に依存しない最適化手法を用いることで、これらの手法はシーン固有の3次元構造を無視し、表現の表現性や質を制限し、様々な浮動小数点やアーティファクトをもたらす。
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス・スティング法 (SAGS) を提案する。
SAGSは、複雑なシーンの学習を促進し、シーンの幾何学を保存する意味のある点変位を強制する、ローカル・グローバルなグラフ表現に基づいて構築されている。
さらに,単純な中点補間方式を用いてSAGSの軽量バージョンを導入し,圧縮戦略に頼らずに最大24$\times$サイズ縮小されたシーンのコンパクトな表現を示す。
複数のベンチマークデータセットにわたる大規模な実験は、レンダリング品質とモデルサイズの両方における最先端の3D-GS手法と比較して、SAGSの優位性を示している。
さらに, 本手法は, 正確な深度マップを得ながら, 浮き彫りや従来手法の不規則な歪みを効果的に軽減できることを示す。
プロジェクトページ https://eververas.github.io/SAGS/。
関連論文リスト
- GeoSplatting: Towards Geometry Guided Gaussian Splatting for Physically-based Inverse Rendering [69.67264955234494]
GeoSplattingは、3DGSを明示的な幾何学的ガイダンスと微分可能なPBR方程式で拡張する新しいハイブリッド表現である。
多様なデータセットにわたる総合的な評価は、GeoSplattingの優位性を示している。
論文 参考訳(メタデータ) (2024-10-31T17:57:07Z) - GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
3D Gaussian Splatting (3DGS) は、空間的特徴を持つ3次元幾何学とシーンの外観の両方をコンパクトに符号化することができる。
モデルの空間的理解を改善するために,高密度キーポイント記述子を3DGSに蒸留することを提案する。
提案手法はNeRFMatchやPNeRFLocなど,最先端のニューラル・レンダー・ポース(NRP)法を超越した手法である。
論文 参考訳(メタデータ) (2024-09-24T23:18:32Z) - TranSplat: Generalizable 3D Gaussian Splatting from Sparse Multi-View Images with Transformers [14.708092244093665]
我々は,正確な局所特徴マッチングを導くために,予測深度信頼マップを利用する戦略を開発する。
本稿では,RealEstate10KベンチマークとACIDベンチマークの両方で最高の性能を示すTranSplatという新しいG-3DGS手法を提案する。
論文 参考訳(メタデータ) (2024-08-25T08:37:57Z) - 3DGS.zip: A survey on 3D Gaussian Splatting Compression Methods [10.122120872952296]
3次元ガウス散乱(3DGS)は実時間放射場レンダリングの最先端技術として登場している。
レンダリング速度と画像の忠実さの利点にもかかわらず、3DGSはその大きなストレージとメモリ要求によって制限されている。
本調査では3DGSをより効率的にするために開発された圧縮・圧縮技術について詳細に検討する。
論文 参考訳(メタデータ) (2024-06-17T11:43:38Z) - GS2Mesh: Surface Reconstruction from Gaussian Splatting via Novel Stereo Views [9.175560202201819]
3Dガウススプラッティング(3DGS)はシーンを正確に表現するための効率的なアプローチとして登場した。
本稿では,ノイズの多い3DGS表現とスムーズな3Dメッシュ表現とのギャップを埋めるための新しい手法を提案する。
私たちは、オリジナルのトレーニングポーズに対応するステレオアライメントされたイメージのペアをレンダリングし、ペアをステレオモデルに入力して深度プロファイルを取得し、最後にすべてのプロファイルを融合して単一のメッシュを得る。
論文 参考訳(メタデータ) (2024-04-02T10:13:18Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。
SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。
提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
論文 参考訳(メタデータ) (2024-01-31T14:19:03Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳(メタデータ) (2023-11-26T02:35:09Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。