論文の概要: Mesh-based Gaussian Splatting for Real-time Large-scale Deformation
- arxiv url: http://arxiv.org/abs/2402.04796v1
- Date: Wed, 7 Feb 2024 12:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 15:41:04.797799
- Title: Mesh-based Gaussian Splatting for Real-time Large-scale Deformation
- Title（参考訳）: リアルタイム大規模変形のためのメッシュベースガウススプレーティング
- Authors: Lin Gao, Jie Yang, Bo-Tao Zhang, Jia-Mu Sun, Yu-Jie Yuan, Hongbo Fu
and Yu-Kun Lai
- Abstract要約: ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
- 参考スコア（独自算出の注目度）: 58.18290393082119
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural implicit representations, including Neural Distance Fields and Neural
Radiance Fields, have demonstrated significant capabilities for reconstructing
surfaces with complicated geometry and topology, and generating novel views of
a scene. Nevertheless, it is challenging for users to directly deform or
manipulate these implicit representations with large deformations in the
real-time fashion. Gaussian Splatting(GS) has recently become a promising
method with explicit geometry for representing static scenes and facilitating
high-quality and real-time synthesis of novel views. However,it cannot be
easily deformed due to the use of discrete Gaussians and lack of explicit
topology. To address this, we develop a novel GS-based method that enables
interactive deformation. Our key idea is to design an innovative mesh-based GS
representation, which is integrated into Gaussian learning and manipulation. 3D
Gaussians are defined over an explicit mesh, and they are bound with each
other: the rendering of 3D Gaussians guides the mesh face split for adaptive
refinement, and the mesh face split directs the splitting of 3D Gaussians.
Moreover, the explicit mesh constraints help regularize the Gaussian
distribution, suppressing poor-quality Gaussians(e.g. misaligned
Gaussians,long-narrow shaped Gaussians), thus enhancing visual quality and
avoiding artifacts during deformation. Based on this representation, we further
introduce a large-scale Gaussian deformation technique to enable deformable GS,
which alters the parameters of 3D Gaussians according to the manipulation of
the associated mesh. Our method benefits from existing mesh deformation
datasets for more realistic data-driven Gaussian deformation. Extensive
experiments show that our approach achieves high-quality reconstruction and
effective deformation, while maintaining the promising rendering results at a
high frame rate(65 FPS on average).
- Abstract（参考訳）: 神経距離場や神経放射場を含む神経暗黙的表現は、複雑な幾何学とトポロジーで表面を再構成し、シーンの新しい視点を生成する重要な能力を示している。
それにもかかわらず、ユーザがこれらの暗黙的な表現を、リアルタイムな方法で大きな変形で直接変形または操作することは困難である。
Gaussian Splatting(GS)は、静的なシーンを表現し、新しいビューの高品質かつリアルタイムな合成を容易にするための明示的な幾何学を持つ有望な方法である。
しかし、離散ガウス群と明示トポロジーの欠如のため、容易に変形することができない。
そこで我々は,インタラクティブな変形を可能にする新しいgsベース手法を開発した。
私たちのキーとなるアイデアは、ガウスの学習と操作に統合された革新的なメッシュベースのGS表現を設計することです。
3d gaussianのレンダリングは、適応的な改良のためにメッシュフェイススプリットをガイドし、メッシュフェイススプリットは3d gaussianの分割を指示する。
さらに、明示的なメッシュ制約はガウス分布の定式化に寄与し、品質の低いガウス分布(例えば、ガウス分布を不整列化させるガウス分布)を抑圧し、視覚品質を高め、変形中のアーティファクトを回避する。
この表現に基づき, メッシュの操作に応じて3次元ガウスのパラメータを変化させる変形可能なgsを実現するために, 大規模ガウス変形手法をさらに導入する。
本手法は,既存のメッシュ変形データセットから,より現実的なデータ駆動ガウス変形を実現する。
実験により,提案手法は高いフレームレート(平均65FPS)で予測可能なレンダリング結果を維持しつつ,高品質な再構成と有効変形を実現することを示す。
関連論文リスト
- PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。
提案手法は,様々な視点によく一般化した最先端性能を実現する。
論文 参考訳（メタデータ） (2024-10-24T17:59:58Z) - Effective Rank Analysis and Regularization for Enhanced 3D Gaussian Splatting [33.01987451251659]
3D Gaussian Splatting(3DGS)は、高品質な3D再構成によるリアルタイムレンダリングが可能な有望な技術として登場した。
その可能性にもかかわらず、3DGSは針のようなアーティファクト、準最適ジオメトリー、不正確な正常など、課題に直面している。
正規化として有効なランクを導入し、ガウスの構造を制約する。
論文 参考訳（メタデータ） (2024-06-17T15:51:59Z) - Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting [26.382349137191547]
本稿では,このようなジレンマを解決するために,メッシュ吸着型ガウス平滑化法(MaGS)を提案する。
MaGSは3Dガウスをメッシュ表面にホバリングすることを制約し、相互に吸着したメッシュ-ガウスの3D表現を生成する。
メッシュ、3Dガウス、RDFを共同最適化することで、MaGSは高いレンダリング精度とリアルな変形を実現する。
論文 参考訳（メタデータ） (2024-06-03T17:59:51Z) - RaDe-GS: Rasterizing Depth in Gaussian Splatting [32.38730602146176]
Gaussian Splatting (GS) は、高品質でリアルタイムなレンダリングを実現するために、新しいビュー合成に非常に効果的であることが証明されている。
本研究は,DTUデータセット上のNeuraLangeloに匹敵するチャムファー距離誤差を導入し,元の3D GS法と同様の計算効率を維持する。
論文 参考訳（メタデータ） (2024-06-03T15:56:58Z) - Gaussian Opacity Fields: Efficient Adaptive Surface Reconstruction in Unbounded Scenes [50.92217884840301]
Gaussian Opacity Fields (GOF)は、シーンにおける効率的で高品質で適応的な表面再構成のための新しいアプローチである。
GOFは3Dガウスのレイトレーシングに基づくボリュームレンダリングに由来する。
GOFは、表面再構成と新しいビュー合成において、既存の3DGSベースの手法を超越している。
論文 参考訳（メタデータ） (2024-04-16T17:57:19Z) - GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling [55.05713977022407]
構造的かつ完全明快な放射率表現を導入し、3次元生成モデリングを大幅に促進する。
我々はまず,新しい密度制約付きガウス適合アルゴリズムを用いてガウスキューブを導出する。
非条件およびクラス条件オブジェクト生成、デジタルアバター生成、テキスト・トゥ・3Dによる実験は、我々のモデル合成が最先端の生成結果を達成することを示す。
論文 参考訳（メタデータ） (2024-03-28T17:59:50Z) - GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
論文 参考訳（メタデータ） (2024-02-02T14:50:23Z) - GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。
提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-01T18:14:42Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。