論文の概要: GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation
- arxiv url: http://arxiv.org/abs/2403.12365v1
- Date: Tue, 19 Mar 2024 02:22:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 15:51:27.194933
- Title: GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation
- Title(参考訳): GaussianFlow:4Dコンテンツ作成のためのガウス力学のスプラッティング
- Authors: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann,
- Abstract要約: 連続するフレーム間の3次元ガウス流と画素速度のダイナミクスを結合する新しい概念であるガウス流を導入する。
提案手法は,ガウススプラッティングを用いた4次元動的コンテンツ生成と4次元新規ビュー合成に有効である。
提案手法は, 4次元生成と4次元新規ビュー合成の両課題に対して, 最先端の成果を得る。
- 参考スコア(独自算出の注目度): 28.780488884938997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/
- Abstract(参考訳): 画像やビデオからガウスの4Dフィールドを作るのは、制約の少ない性質のため難しい作業だ。
この最適化は、入力されたビデオから測光基準を引き出すか、生成モデルによって制御することができるが、ガウス運動を直接監督することは、まだ探索されていない。
本稿では,連続するフレーム間の3次元ガウス流と画素速度のダイナミクスを結合するガウス流という新しい概念を紹介する。
ガウス流は、画像空間にガウス力学をスプラッティングすることで効率よく得ることができる。
この微分可能なプロセスは、光学フローからの直接動的監視を可能にする。
提案手法は,4次元動的コンテンツ生成とガウススメッティングによる4次元新規ビュー合成,特に既存の方法では処理が困難であるリッチモーションのコンテンツに対して,大きな効果がある。
4次元生成で発生する一般的な色漂流問題は、改良されたグアシアン力学によって解決される。
広汎な実験における視覚的品質は,本手法の有効性を示す。
定量的および定性的な評価により,本手法は4次元生成と4次元新規ビュー合成の両課題において,最先端の成果が得られることが示された。
プロジェクトページ:https://zerg-overmind.github.io/GaussianFlow.github.io/
関連論文リスト
- SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳(メタデータ) (2024-04-04T18:05:18Z) - STAG4D: Spatial-Temporal Anchored Generative 4D Gaussians [36.83603109001298]
STAG4Dは、事前訓練された拡散モデルと動的3次元ガウススプラッティングを組み合わせた、高忠実度4D生成のための新しいフレームワークである。
提案手法は, レンダリング品質, 時空間整合性, 生成ロバスト性において, 先行4次元生成よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-22T04:16:33Z) - 4D Gaussian Splatting: Towards Efficient Novel View Synthesis for
Dynamic Scenes [35.115901298045316]
異方性4D XYZTガウスの動的シーンを表現する新しい手法である4D Gaussian Splatting (4DGS)を紹介した。
動的3次元ガウスを自然に構成する4次元ガウスを時間的にスライスすることで、各タイムスタンプのダイナミクスをモデル化する。
空間的時間的表現として、4DGSは複雑な詳細、特に急激な動きのあるシーンをモデル化する強力な能力を示す。
論文 参考訳(メタデータ) (2024-02-05T18:59:04Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [59.32318797882129]
本研究では,4次元ガウス分割表現に基づく効率的な4次元生成フレームワークであるDreamGaussian4Dを紹介する。
我々の重要な洞察は、ガウススプラッティングにおける空間変換の明示的なモデリングが、4次元生成設定により適しているということである。
DreamGaussian4Dは最適化時間を数時間から数分に短縮し、生成された3Dモーションの柔軟な制御を可能にし、3Dエンジンで効率的にレンダリングできるアニメーションメッシュを生成する。
論文 参考訳(メタデータ) (2023-12-28T17:16:44Z) - Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed
Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。
4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文 参考訳(メタデータ) (2023-12-21T11:41:02Z) - 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [107.21288355151015]
本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
論文 参考訳(メタデータ) (2023-10-12T17:21:41Z) - DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation [55.661467968178066]
本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。
我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。
ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
論文 参考訳(メタデータ) (2023-09-28T17:55:05Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳(メタデータ) (2023-08-18T17:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。