論文の概要: DreamScene4D: Dynamic Multi-Object Scene Generation from Monocular Videos

• arxiv url: http://arxiv.org/abs/2405.02280v2
• Date: Thu, 23 May 2024 16:27:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 05:11:11.850605
• Title: DreamScene4D: Dynamic Multi-Object Scene Generation from Monocular Videos
• Title（参考訳）: DreamScene4D:モノクロ映像からの動的マルチオブジェクトシーン生成
• Authors: Wen-Hsuan Chu, Lei Ke, Katerina Fragkiadaki,
• Abstract要約: 本稿では,新しいビュー合成によるモノクロ映像から複数の物体の3次元動的シーンを生成するための最初のアプローチであるDreamScene4Dを紹介する。 私たちの重要な洞察は、ビデオシーンを背景とオブジェクトトラックに分解する"分解分解"アプローチです。 DAVIS, Kubric, 自撮りビデオについて, 定量的比較とユーザ嗜好調査を行った。
• 参考スコア（独自算出の注目度）: 21.93514516437402
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: View-predictive generative models provide strong priors for lifting object-centric images and videos into 3D and 4D through rendering and score distillation objectives. A question then remains: what about lifting complete multi-object dynamic scenes? There are two challenges in this direction: First, rendering error gradients are often insufficient to recover fast object motion, and second, view predictive generative models work much better for objects than whole scenes, so, score distillation objectives cannot currently be applied at the scene level directly. We present DreamScene4D, the first approach to generate 3D dynamic scenes of multiple objects from monocular videos via 360-degree novel view synthesis. Our key insight is a "decompose-recompose" approach that factorizes the video scene into the background and object tracks, while also factorizing object motion into 3 components: object-centric deformation, object-to-world-frame transformation, and camera motion. Such decomposition permits rendering error gradients and object view-predictive models to recover object 3D completions and deformations while bounding box tracks guide the large object movements in the scene. We show extensive results on challenging DAVIS, Kubric, and self-captured videos with quantitative comparisons and a user preference study. Besides 4D scene generation, DreamScene4D obtains accurate 2D persistent point track by projecting the inferred 3D trajectories to 2D. We will release our code and hope our work will stimulate more research on fine-grained 4D understanding from videos.
• Abstract（参考訳）: ビュー予測生成モデルは、蒸留目標のレンダリングとスコアリングを通じて、オブジェクト中心の画像やビデオを3Dおよび4Dに持ち上げるための強力な事前情報を提供する。 完全なマルチオブジェクトのダイナミックなシーンを持ち上げることについてはどうだろう? この方向には2つの課題がある: まず、高速な物体の動きを回復するにはレンダリングエラー勾配が不十分である。 そこで,DreamScene4Dを提案する。DreamScene4Dは,360度ノベルビュー合成によるモノクロビデオから複数の物体の3次元動的シーンを生成するための最初のアプローチである。 私たちの重要な洞察は、ビデオシーンを背景と対象のトラックに分解する"分解分解"アプローチであり、また、オブジェクトの動きを3つのコンポーネントに分解する。 このような分解により、レンダリングエラー勾配とオブジェクトビュー予測モデルにより、境界ボックストラックがシーン内の大きなオブジェクトの動きを案内しながら、オブジェクトの3D補完と変形を回復することができる。 DAVIS, Kubric, 自撮りビデオについて, 定量的比較とユーザ嗜好調査を行った。 4Dシーン生成の他に、DreamScene4Dは推定された3D軌跡を2Dに投影することにより、正確な2Dパーシステンスポイントトラックを得る。 コードを公開し、ビデオからの詳細な4D理解をより深く研究することを願っています。

関連論文リスト

• Shape of Motion: 4D Reconstruction from a Single Video [51.04575075620677]
  本稿では,全列長3D動作を特徴とする汎用動的シーンを再構築する手法を提案する。 シーン動作をコンパクトなSE3モーションベースで表現することで,3次元動作の低次元構造を利用する。 本手法は,3D/2Dの長距離動き推定と動的シーンにおける新しいビュー合成の両面において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-07-18T17:59:08Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• Tracking by 3D Model Estimation of Unknown Objects in Videos [122.56499878291916]
  この表現は限定的であり、代わりに明示的なオブジェクト表現を用いて2次元追跡をガイドし改善することを提案する。 我々の表現は、全てのビデオフレームのオブジェクト上の全ての3Dポイント間の複雑な長期密度対応問題に取り組む。 提案手法は, 最適3次元形状, テクスチャ, 6DoFのポーズを推定するために, 新たな損失関数を最小化する。
  論文  参考訳（メタデータ） (2023-04-13T11:32:36Z)
• Class-agnostic Reconstruction of Dynamic Objects from Videos [127.41336060616214]
  動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。 我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。 第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
  論文  参考訳（メタデータ） (2021-12-03T18:57:47Z)
• NeuralDiff: Segmenting 3D objects that move in egocentric videos [92.95176458079047]
  観測された3次元シーンを静的な背景と動的前景に分解する問題について検討する。 このタスクは、古典的な背景の減算問題を連想させるが、静的でダイナミックなシーンの全ての部分が大きな動きを生じさせるため、非常に難しい。 特に、自我中心のビデオについて検討し、動的コンポーネントを観察・移動するオブジェクトとアクターにさらに分離する。
  論文  参考訳（メタデータ） (2021-10-19T12:51:35Z)
• D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
  本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。 我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。 我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
  論文  参考訳（メタデータ） (2021-08-19T00:49:01Z)
• Unsupervised object-centric video generation and decomposition in 3D [36.08064849807464]
  本研究では,複数の3Dオブジェクトと3D背景を持つシーンを移動しながら映像を映像としてモデル化することを提案する。 我々のモデルは、監督なしに単眼ビデオから訓練されるが、複数の動く物体を含むコヒーレントな3Dシーンを生成することを学ぶ。
  論文  参考訳（メタデータ） (2020-07-07T18:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。