論文の概要: SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2312.14937v2
- Date: Fri, 29 Dec 2023 12:43:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-02 20:24:22.473569
- Title: SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes
- Title（参考訳）: sc-gs: 編集可能な動的シーンのためのスパース制御ガウススプレート
- Authors: Yi-Hua Huang and Yang-Tian Sun and Ziyi Yang and Xiaoyang Lyu and
Yan-Pei Cao and Xiaojuan Qi
- Abstract要約: 動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。
本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。
提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
- 参考スコア（独自算出の注目度）: 59.23385953161328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel view synthesis for dynamic scenes is still a challenging problem in
computer vision and graphics. Recently, Gaussian splatting has emerged as a
robust technique to represent static scenes and enable high-quality and
real-time novel view synthesis. Building upon this technique, we propose a new
representation that explicitly decomposes the motion and appearance of dynamic
scenes into sparse control points and dense Gaussians, respectively. Our key
idea is to use sparse control points, significantly fewer in number than the
Gaussians, to learn compact 6 DoF transformation bases, which can be locally
interpolated through learned interpolation weights to yield the motion field of
3D Gaussians. We employ a deformation MLP to predict time-varying 6 DoF
transformations for each control point, which reduces learning complexities,
enhances learning abilities, and facilitates obtaining temporal and spatial
coherent motion patterns. Then, we jointly learn the 3D Gaussians, the
canonical space locations of control points, and the deformation MLP to
reconstruct the appearance, geometry, and dynamics of 3D scenes. During
learning, the location and number of control points are adaptively adjusted to
accommodate varying motion complexities in different regions, and an ARAP loss
following the principle of as rigid as possible is developed to enforce spatial
continuity and local rigidity of learned motions. Finally, thanks to the
explicit sparse motion representation and its decomposition from appearance,
our method can enable user-controlled motion editing while retaining
high-fidelity appearances. Extensive experiments demonstrate that our approach
outperforms existing approaches on novel view synthesis with a high rendering
speed and enables novel appearance-preserved motion editing applications.
Project page: https://yihua7.github.io/SC-GS-web/
- Abstract（参考訳）: ダイナミックシーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として困難な問題である。
近年,静的なシーンを表現し,高品質でリアルタイムな新規ビュー合成を実現するための堅牢な手法としてガウススプラッティングが登場している。
この手法に基づき,動的シーンの動きと外観を,それぞれ疎い制御点と密集したガウス型に明示的に分解する新しい表現法を提案する。
我々のキーとなる考え方は、3次元ガウスの運動場を得るために、学習補間重みを通して局所的に補間できるコンパクトな6DF変換基底を学ぶために、ガウス変換よりもはるかに少ないスパース制御点を使用することである。
変形MLPを用いて各制御点の時間変化6 DoF変換を予測し,学習の複雑さを低減し,学習能力を高め,時間的および空間的コヒーレントな動作パターンの獲得を容易にする。
次に,3次元ガウス,制御点の標準空間位置,変形MLPを共同で学習し,3次元シーンの外観,幾何学,ダイナミックスを再構築する。
学習中、異なる領域の異なる運動複雑度に対応するために制御点の位置と個数を適応的に調整し、学習運動の空間的連続性と局所的剛性をできるだけ厳密な原理に従ってARAP損失を発生させる。
最後に, 明示的なスパースモーション表現と外観からの分解により, 高忠実性を維持しつつ, ユーザ制御によるモーション編集を実現する。
広汎な実験により,本手法は,新しいビュー合成手法を高速で実現し,新しい外観保存型モーション編集アプリケーションを実現する。
プロジェクトページ:https://yihua7.github.io/SC-GS-web/
関連論文リスト
- Gaussian Splatting LK [0.11249583407496218]
本稿では,動的ガウススティングフレームワークにおけるネイティブワープフィールドの正規化の可能性について検討する。
フォワードワープフィールドネットワークに固有の知識を利用して解析速度場を導出できることが示される。
このルーカス・カナーデ型解析正規化により,高ダイナミックなシーンを再構成する際の優れた性能を実現することができる。
論文 参考訳（メタデータ） (2024-07-16T01:50:43Z) - InfoGaussian: Structure-Aware Dynamic Gaussians through Lightweight Information Shaping [9.703830846219441]
本研究では,運動ネットワークにおける相関ガウス間の移動共鳴を強制する手法を開発した。
動作ネットワークを形作るための軽量な最適化を施した効率的なコントラスト訓練パイプラインを開発する。
提案手法は,挑戦的な場面で評価し,大幅な性能向上を示す。
論文 参考訳（メタデータ） (2024-06-09T19:33:32Z) - Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。
本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:07:39Z) - HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。
我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。
提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
論文 参考訳（メタデータ） (2024-03-19T13:39:05Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。
我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。
我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
論文 参考訳（メタデータ） (2023-12-20T03:54:03Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳（メタデータ） (2023-09-22T16:04:02Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳（メタデータ） (2023-08-18T17:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。