論文の概要: GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation
- arxiv url: http://arxiv.org/abs/2403.12365v2
- Date: Mon, 13 May 2024 19:06:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 18:52:04.582010
- Title: GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation
- Title（参考訳）: GaussianFlow:4Dコンテンツ作成のためのガウス力学のスプラッティング
- Authors: Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann,
- Abstract要約: 連続するフレーム間の3次元ガウス流と画素速度のダイナミクスを結合する新しい概念であるガウス流を導入する。
提案手法は,ガウススプラッティングを用いた4次元動的コンテンツ生成と4次元新規ビュー合成に有効である。
提案手法は, 4次元生成と4次元新規ビュー合成の両課題に対して, 最先端の成果を得る。
- 参考スコア（独自算出の注目度）: 28.780488884938997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/
- Abstract（参考訳）: 画像やビデオからガウスの4Dフィールドを作るのは、制約の少ない性質のため難しい作業だ。
この最適化は、入力されたビデオから測光基準を引き出すか、生成モデルによって制御することができるが、ガウス運動を直接監督することは、まだ探索されていない。
本稿では,連続するフレーム間の3次元ガウス流と画素速度のダイナミクスを結合するガウス流という新しい概念を紹介する。
ガウス流は、画像空間にガウス力学をスプラッティングすることで効率よく得ることができる。
この微分可能なプロセスは、光学フローからの直接動的監視を可能にする。
提案手法は,4次元動的コンテンツ生成とガウススメッティングによる4次元新規ビュー合成,特に既存の方法では処理が困難であるリッチモーションのコンテンツに対して,大きな効果がある。
4次元生成で発生する一般的な色漂流問題は、改良されたグアシアン力学によって解決される。
広汎な実験における視覚的品質は,本手法の有効性を示す。
定量的および定性的な評価により,本手法は4次元生成と4次元新規ビュー合成の両課題において,最先端の成果が得られることが示された。
プロジェクトページ:https://zerg-overmind.github.io/GaussianFlow.github.io/
関連論文リスト
- Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。
単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。
Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
論文 参考訳（メタデータ） (2024-06-26T19:37:07Z) - VDG: Vision-Only Dynamic Gaussian for Driving Simulation [112.6139608504842]
ポーズフリーな動的ガウス法(VDG)に自己教師付きVOを導入する。
VDGはRGB画像入力のみで動作可能で、ポーズフリーのダイナミックビュー合成法に比べて高速で広いシーンで動的シーンを構築することができる。
その結果,現状の動的ビュー合成法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-06-26T09:29:21Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - STAG4D: Spatial-Temporal Anchored Generative 4D Gaussians [36.83603109001298]
STAG4Dは、事前訓練された拡散モデルと動的3次元ガウススプラッティングを組み合わせた、高忠実度4D生成のための新しいフレームワークである。
提案手法は, レンダリング品質, 時空間整合性, 生成ロバスト性において, 先行4次元生成よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-22T04:16:33Z) - 4D-Rotor Gaussian Splatting: Towards Efficient Novel View Synthesis for Dynamic Scenes [33.14021987166436]
異方性 4D XYZT Gaussian を用いた動的シーンの表現法である 4DRotorGS を紹介する。
4DRotorGSは空間的時間的表現として、複雑な力学と細部をモデル化する強力な能力を示している。
さらに、3090 GPUで最大277FPS、4090 GPUで最大583FPSのリアルタイムレンダリング速度を達成するために、時間スライシングとアクセラレーションのフレームワークを実装しています。
論文 参考訳（メタデータ） (2024-02-05T18:59:04Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。
我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。
ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文 参考訳（メタデータ） (2023-12-28T17:16:44Z) - Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed
Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。
4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文 参考訳（メタデータ） (2023-12-21T11:41:02Z) - 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering [103.32717396287751]
本研究では,動的シーンの全体像として4D-GS(Gaussian Splatting)を提案する。
HexPlaneにインスパイアされたニューラルボクセル符号化アルゴリズムは、4Dニューラルボクセルの機能を効率的に構築するために提案されている。
我々の4D-GS法は、高解像度の82 FPSで、3090 GPUで800$times$800の解像度でリアルタイムレンダリングを実現する。
論文 参考訳（メタデータ） (2023-10-12T17:21:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。