論文の概要: Mesh-based Gaussian Splatting for Real-time Large-scale Deformation
- arxiv url: http://arxiv.org/abs/2402.04796v1
- Date: Wed, 7 Feb 2024 12:36:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 15:41:04.797799
- Title: Mesh-based Gaussian Splatting for Real-time Large-scale Deformation
- Title(参考訳): リアルタイム大規模変形のためのメッシュベースガウススプレーティング
- Authors: Lin Gao, Jie Yang, Bo-Tao Zhang, Jia-Mu Sun, Yu-Jie Yuan, Hongbo Fu
and Yu-Kun Lai
- Abstract要約: ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
- 参考スコア(独自算出の注目度): 58.18290393082119
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural implicit representations, including Neural Distance Fields and Neural
Radiance Fields, have demonstrated significant capabilities for reconstructing
surfaces with complicated geometry and topology, and generating novel views of
a scene. Nevertheless, it is challenging for users to directly deform or
manipulate these implicit representations with large deformations in the
real-time fashion. Gaussian Splatting(GS) has recently become a promising
method with explicit geometry for representing static scenes and facilitating
high-quality and real-time synthesis of novel views. However,it cannot be
easily deformed due to the use of discrete Gaussians and lack of explicit
topology. To address this, we develop a novel GS-based method that enables
interactive deformation. Our key idea is to design an innovative mesh-based GS
representation, which is integrated into Gaussian learning and manipulation. 3D
Gaussians are defined over an explicit mesh, and they are bound with each
other: the rendering of 3D Gaussians guides the mesh face split for adaptive
refinement, and the mesh face split directs the splitting of 3D Gaussians.
Moreover, the explicit mesh constraints help regularize the Gaussian
distribution, suppressing poor-quality Gaussians(e.g. misaligned
Gaussians,long-narrow shaped Gaussians), thus enhancing visual quality and
avoiding artifacts during deformation. Based on this representation, we further
introduce a large-scale Gaussian deformation technique to enable deformable GS,
which alters the parameters of 3D Gaussians according to the manipulation of
the associated mesh. Our method benefits from existing mesh deformation
datasets for more realistic data-driven Gaussian deformation. Extensive
experiments show that our approach achieves high-quality reconstruction and
effective deformation, while maintaining the promising rendering results at a
high frame rate(65 FPS on average).
- Abstract(参考訳): 神経距離場や神経放射場を含む神経暗黙的表現は、複雑な幾何学とトポロジーで表面を再構成し、シーンの新しい視点を生成する重要な能力を示している。
それにもかかわらず、ユーザがこれらの暗黙的な表現を、リアルタイムな方法で大きな変形で直接変形または操作することは困難である。
Gaussian Splatting(GS)は、静的なシーンを表現し、新しいビューの高品質かつリアルタイムな合成を容易にするための明示的な幾何学を持つ有望な方法である。
しかし、離散ガウス群と明示トポロジーの欠如のため、容易に変形することができない。
そこで我々は,インタラクティブな変形を可能にする新しいgsベース手法を開発した。
私たちのキーとなるアイデアは、ガウスの学習と操作に統合された革新的なメッシュベースのGS表現を設計することです。
3d gaussianのレンダリングは、適応的な改良のためにメッシュフェイススプリットをガイドし、メッシュフェイススプリットは3d gaussianの分割を指示する。
さらに、明示的なメッシュ制約はガウス分布の定式化に寄与し、品質の低いガウス分布(例えば、ガウス分布を不整列化させるガウス分布)を抑圧し、視覚品質を高め、変形中のアーティファクトを回避する。
この表現に基づき, メッシュの操作に応じて3次元ガウスのパラメータを変化させる変形可能なgsを実現するために, 大規模ガウス変形手法をさらに導入する。
本手法は,既存のメッシュ変形データセットから,より現実的なデータ駆動ガウス変形を実現する。
実験により,提案手法は高いフレームレート(平均65FPS)で予測可能なレンダリング結果を維持しつつ,高品質な再構成と有効変形を実現することを示す。
関連論文リスト
- Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian
Splatting [57.80942520483354]
3D-GSはしばしば、特異成分と異方性成分を正確にモデル化するのに困難に直面する。
球面調和の代わりに異方性球面ガウス場を利用するアプローチであるSpec-Gaussianを導入する。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
論文 参考訳(メタデータ) (2024-02-24T17:22:15Z) - GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。
本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。
提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
論文 参考訳(メタデータ) (2024-02-22T16:00:20Z) - GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
論文 参考訳(メタデータ) (2024-02-02T14:50:23Z) - GaussianBody: Clothed Human Reconstruction via 3d Gaussian Splatting [14.937297984020821]
本稿では,3次元ガウシアンスプラッティングをベースとした,ガウシアンボディと呼ばれる新しい布地復元手法を提案する。
静的な3次元ガウススメッティングモデルを動的復元問題に適用することは、複雑な非剛性変形とリッチな布の細部のために非自明である。
本手法は,ダイナミックな衣料人体に高精細な画質で,最先端のフォトリアリスティックなノベルビューレンダリングを実現できることを示す。
論文 参考訳(メタデータ) (2024-01-18T04:48:13Z) - GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View
Synthesis [17.572987038801475]
変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。
差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。
我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
論文 参考訳(メタデータ) (2023-12-18T18:59:03Z) - GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [76.52007427483396]
GIRは3次元ガウス逆レンダリング法である。
本手法は,多視点画像から物体の材料特性,照明,形状を推定するために3次元ガウス法を用いる。
論文 参考訳(メタデータ) (2023-12-08T16:05:15Z) - Neural Parametric Gaussians for Monocular Non-Rigid Object
Reconstruction [8.861759745030843]
モノクロビデオから動的オブジェクトを再構築することは、過小評価され難解な問題である。
本稿では,2段階のアプローチを取り入れたニューラルパラメトリックガウス(NPG)を提案する。
NPGは、特にマルチビューの手がかりがほとんどない挑戦的なシナリオにおいて、以前の研究よりも優れた結果が得られる。
論文 参考訳(メタデータ) (2023-12-02T18:06:24Z) - NeuSG: Neural Implicit Surface Reconstruction with 3D Gaussian Splatting
Guidance [59.08521048003009]
本稿では,3次元ガウススプラッティングから高精細な表面を復元する神経暗黙的表面再構成パイプラインを提案する。
3Dガウススプラッティングの利点は、詳細な構造を持つ高密度の点雲を生成することができることである。
我々は3次元ガウスを極端に薄くすることで、表面に近い中心を引っ張るスケール正則化器を導入する。
論文 参考訳(メタデータ) (2023-12-01T07:04:47Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。