論文の概要: SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2312.14937v2
- Date: Fri, 29 Dec 2023 12:43:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-02 20:24:22.473569
- Title: SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes
- Title(参考訳): sc-gs: 編集可能な動的シーンのためのスパース制御ガウススプレート
- Authors: Yi-Hua Huang and Yang-Tian Sun and Ziyi Yang and Xiaoyang Lyu and
Yan-Pei Cao and Xiaojuan Qi
- Abstract要約: 動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
- 参考スコア(独自算出の注目度): 59.23385953161328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel view synthesis for dynamic scenes is still a challenging problem in
computer vision and graphics. Recently, Gaussian splatting has emerged as a
robust technique to represent static scenes and enable high-quality and
real-time novel view synthesis. Building upon this technique, we propose a new
representation that explicitly decomposes the motion and appearance of dynamic
scenes into sparse control points and dense Gaussians, respectively. Our key
idea is to use sparse control points, significantly fewer in number than the
Gaussians, to learn compact 6 DoF transformation bases, which can be locally
interpolated through learned interpolation weights to yield the motion field of
3D Gaussians. We employ a deformation MLP to predict time-varying 6 DoF
transformations for each control point, which reduces learning complexities,
enhances learning abilities, and facilitates obtaining temporal and spatial
coherent motion patterns. Then, we jointly learn the 3D Gaussians, the
canonical space locations of control points, and the deformation MLP to
reconstruct the appearance, geometry, and dynamics of 3D scenes. During
learning, the location and number of control points are adaptively adjusted to
accommodate varying motion complexities in different regions, and an ARAP loss
following the principle of as rigid as possible is developed to enforce spatial
continuity and local rigidity of learned motions. Finally, thanks to the
explicit sparse motion representation and its decomposition from appearance,
our method can enable user-controlled motion editing while retaining
high-fidelity appearances. Extensive experiments demonstrate that our approach
outperforms existing approaches on novel view synthesis with a high rendering
speed and enables novel appearance-preserved motion editing applications.
Project page: https://yihua7.github.io/SC-GS-web/
- Abstract(参考訳): ダイナミックシーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として困難な問題である。
近年,静的なシーンを表現し,高品質でリアルタイムな新規ビュー合成を実現するための堅牢な手法としてガウススプラッティングが登場している。
この手法に基づき,動的シーンの動きと外観を,それぞれ疎い制御点と密集したガウス型に明示的に分解する新しい表現法を提案する。
我々のキーとなる考え方は、3次元ガウスの運動場を得るために、学習補間重みを通して局所的に補間できるコンパクトな6DF変換基底を学ぶために、ガウス変換よりもはるかに少ないスパース制御点を使用することである。
変形MLPを用いて各制御点の時間変化6 DoF変換を予測し,学習の複雑さを低減し,学習能力を高め,時間的および空間的コヒーレントな動作パターンの獲得を容易にする。
次に,3次元ガウス,制御点の標準空間位置,変形MLPを共同で学習し,3次元シーンの外観,幾何学,ダイナミックスを再構築する。
学習中、異なる領域の異なる運動複雑度に対応するために制御点の位置と個数を適応的に調整し、学習運動の空間的連続性と局所的剛性をできるだけ厳密な原理に従ってARAP損失を発生させる。
最後に, 明示的なスパースモーション表現と外観からの分解により, 高忠実性を維持しつつ, ユーザ制御によるモーション編集を実現する。
広汎な実験により,本手法は,新しいビュー合成手法を高速で実現し,新しい外観保存型モーション編集アプリケーションを実現する。
プロジェクトページ:https://yihua7.github.io/SC-GS-web/
関連論文リスト
- Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳(メタデータ) (2024-02-07T12:36:54Z) - SWAGS: Sampling Windows Adaptively for Dynamic 3D Gaussian Splatting [7.878391936918369]
我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。
我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。
我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
論文 参考訳(メタデータ) (2023-12-20T03:54:03Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [63.8093511389908]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-01T09:30:02Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis
with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳(メタデータ) (2023-11-30T18:59:11Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - Point-Based Radiance Fields for Controllable Human Motion Synthesis [7.322100850632633]
本稿では,静的な点ベース放射場に基づく微細変形のための制御可能な人体動作合成法を提案する。
提案手法は,静的な3次元シーンをトレーニングするために明示的な点雲を利用し,点雲変換を符号化して変形を適用した。
我々の手法は、人間以外の他の3Dキャラクタに一般化できる、微細な複雑な変形に関する最先端技術よりもはるかに優れている。
論文 参考訳(メタデータ) (2023-10-05T08:27:33Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳(メタデータ) (2023-09-22T16:04:02Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳(メタデータ) (2023-08-18T17:59:21Z) - Animatable Implicit Neural Representations for Creating Realistic
Avatars from Videos [63.16888987770885]
本稿では,マルチビュー映像からアニマタブルな人間モデルを構築することの課題について述べる。
線形ブレンドスキンアルゴリズムに基づくポーズ駆動変形場を提案する。
提案手法は,近年の人体モデリング手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2022-03-15T17:56:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。