論文の概要: 3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis
- arxiv url: http://arxiv.org/abs/2404.06270v2
- Date: Sun, 14 Apr 2024 08:40:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 19:31:26.165304
- Title: 3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis
- Title(参考訳): 動的ビュー合成のための3次元幾何学的変形可能なガウス平滑化
- Authors: Zhicheng Lu, Xiang Guo, Le Hui, Tianrui Chen, Min Yang, Xiao Tang, Feng Zhu, Yuchao Dai,
- Abstract要約: 動的ビュー合成のための3次元幾何学的変形可能なガウススメッティング法を提案する。
提案手法は,動的ビュー合成と3次元動的再構成を改良した3次元形状認識変形モデリングを実現する。
- 参考スコア(独自算出の注目度): 49.352765055181436
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a 3D geometry-aware deformable Gaussian Splatting method for dynamic view synthesis. Existing neural radiance fields (NeRF) based solutions learn the deformation in an implicit manner, which cannot incorporate 3D scene geometry. Therefore, the learned deformation is not necessarily geometrically coherent, which results in unsatisfactory dynamic view synthesis and 3D dynamic reconstruction. Recently, 3D Gaussian Splatting provides a new representation of the 3D scene, building upon which the 3D geometry could be exploited in learning the complex 3D deformation. Specifically, the scenes are represented as a collection of 3D Gaussian, where each 3D Gaussian is optimized to move and rotate over time to model the deformation. To enforce the 3D scene geometry constraint during deformation, we explicitly extract 3D geometry features and integrate them in learning the 3D deformation. In this way, our solution achieves 3D geometry-aware deformation modeling, which enables improved dynamic view synthesis and 3D dynamic reconstruction. Extensive experimental results on both synthetic and real datasets prove the superiority of our solution, which achieves new state-of-the-art performance. The project is available at https://npucvr.github.io/GaGS/
- Abstract(参考訳): 本稿では,動的ビュー合成のための3次元幾何学的変形可能なガウススメッティング法を提案する。
既存のニューラル放射場(NeRF)ベースの解は、3次元シーン幾何学を組み込むことができない暗黙の方法で変形を学習する。
したがって、学習された変形は幾何学的にコヒーレントであるとは限らないため、不満足な動的ビュー合成と3次元動的再構成をもたらす。
近年,3次元ガウススプラッティングは,複雑な3次元変形の学習に3次元幾何学を活用可能な3次元シーンの新たな表現を提供する。
具体的には、シーンは3Dガウスアンのコレクションとして表現され、各3Dガウスアンは時間とともに動き、回転して変形をモデル化するように最適化される。
変形中の3次元シーンの幾何学的制約を強制するために,3次元の幾何学的特徴を明示的に抽出し,それらを3次元の変形を学習するために統合する。
このようにして、3次元幾何学的変形モデリングを実現し、動的ビュー合成の改善と3次元動的再構成を実現する。
合成データセットと実データセットの両方に対する大規模な実験結果から,新たな最先端性能を実現するソリューションの優位性が確認された。
プロジェクトはhttps://npucvr.github.io/GaGS/で公開されている。
関連論文リスト
- 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。
多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。
競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
論文 参考訳(メタデータ) (2024-03-26T17:21:24Z) - Text-to-3D using Gaussian Splatting [18.163413810199234]
本稿では,最新の最先端表現であるガウススプラッティングをテキストから3D生成に適用する新しい手法であるGSGENを提案する。
GSGENは、高品質な3Dオブジェクトを生成し、ガウススティングの明示的な性質を活用することで既存の欠点に対処することを目的としている。
我々の手法は繊細な細部と正確な形状で3Dアセットを生成することができる。
論文 参考訳(メタデータ) (2023-09-28T16:44:31Z) - 3D Surface Reconstruction in the Wild by Deforming Shape Priors from
Synthetic Data [24.97027425606138]
1枚の画像から被写体の3次元表面を再構築することは難しい問題である。
本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。
提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
論文 参考訳(メタデータ) (2023-02-24T20:37:27Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳(メタデータ) (2022-12-14T18:49:50Z) - XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。
生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。
近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
論文 参考訳(メタデータ) (2022-10-06T15:54:01Z) - Disentangled3D: Learning a 3D Generative Model with Disentangled
Geometry and Appearance from Monocular Images [94.49117671450531]
最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。
本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
論文 参考訳(メタデータ) (2022-03-29T22:03:18Z) - To The Point: Correspondence-driven monocular 3D category reconstruction [39.811816510186475]
To The Point (TTP) は、弱い監督から学んだ2Dから3D対応を用いて、単一の画像から3Dオブジェクトを再構成する手法である。
我々は、CNNによるカメラポーズと非剛性変形の回帰を置き換え、より正確な3D再構成を得る。
論文 参考訳(メタデータ) (2021-06-10T11:21:14Z) - Hard Example Generation by Texture Synthesis for Cross-domain Shape
Similarity Learning [97.56893524594703]
画像に基づく3次元形状検索(IBSR)は、与えられた2次元画像の対応する3次元形状を、大きな3次元形状データベースから見つけることを目的としている。
いくつかの適応技法によるメートル法学習は、類似性学習を形作るための自然な解決策のようです。
テクスチャ合成を応用した幾何中心の多視点メトリック学習フレームワークを開発した。
論文 参考訳(メタデータ) (2020-10-23T08:52:00Z) - 3D Shape Segmentation with Geometric Deep Learning [2.512827436728378]
本稿では,部分分割問題としてセグメント化全体を解くために,3次元形状の3次元拡張ビューを生成するニューラルネットワークベースのアプローチを提案する。
提案手法は,公開データセットの3次元形状と,フォトグラム法を用いて再構成した実物体を用いて検証する。
論文 参考訳(メタデータ) (2020-02-02T14:11:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。