論文の概要: ReVision: High-Quality, Low-Cost Video Generation with Explicit 3D Physics Modeling for Complex Motion and Interaction

• arxiv url: http://arxiv.org/abs/2504.21855v1
• Date: Wed, 30 Apr 2025 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 17:24:29.281372
• Title: ReVision: High-Quality, Low-Cost Video Generation with Explicit 3D Physics Modeling for Complex Motion and Interaction
• Title（参考訳）: ReVision: 複雑な動きとインタラクションのための3次元物理モデルによる高画質・低コスト映像生成
• Authors: Qihao Liu, Ju He, Qihang Yu, Liang-Chieh Chen, Alan Yuille,
• Abstract要約: 本稿では,パラメータ化された3次元物理知識を条件付きビデオ生成モデルに明示的に統合するプラグイン・アンド・プレイフレームワークReVisionを紹介する。 ReVisionは動きの忠実度とコヒーレンスを大幅に向上させる。 以上の結果から,3次元物理知識を取り入れることで,比較的小さな映像拡散モデルでも複雑な動きや,より現実性や操作性の高いインタラクションを生成できることが示唆された。
• 参考スコア（独自算出の注目度）: 22.420752010237052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, video generation has seen significant advancements. However, challenges still persist in generating complex motions and interactions. To address these challenges, we introduce ReVision, a plug-and-play framework that explicitly integrates parameterized 3D physical knowledge into a pretrained conditional video generation model, significantly enhancing its ability to generate high-quality videos with complex motion and interactions. Specifically, ReVision consists of three stages. First, a video diffusion model is used to generate a coarse video. Next, we extract a set of 2D and 3D features from the coarse video to construct a 3D object-centric representation, which is then refined by our proposed parameterized physical prior model to produce an accurate 3D motion sequence. Finally, this refined motion sequence is fed back into the same video diffusion model as additional conditioning, enabling the generation of motion-consistent videos, even in scenarios involving complex actions and interactions. We validate the effectiveness of our approach on Stable Video Diffusion, where ReVision significantly improves motion fidelity and coherence. Remarkably, with only 1.5B parameters, it even outperforms a state-of-the-art video generation model with over 13B parameters on complex video generation by a substantial margin. Our results suggest that, by incorporating 3D physical knowledge, even a relatively small video diffusion model can generate complex motions and interactions with greater realism and controllability, offering a promising solution for physically plausible video generation.
• Abstract（参考訳）: 近年、ビデオ生成は大きな進歩を遂げている。 しかし、複雑な動きや相互作用の生成には依然として課題が残っている。 これらの課題に対処するために,パラメータ化された3次元物理知識を事前訓練された条件付きビデオ生成モデルに明示的に統合し,複雑な動きと相互作用を伴う高品質なビデオを生成する能力を大幅に向上するプラグイン・アンド・プレイ・フレームワークであるReVisionを導入する。 具体的には、ReVisionは3つのステージから構成される。 まず,映像拡散モデルを用いて粗い映像を生成する。 次に、粗いビデオから2Dと3Dの特徴を抽出し、3Dオブジェクト中心の表現を構築する。 最後に、この洗練されたモーションシーケンスは、追加の条件付けと同じビデオ拡散モデルにフィードバックされ、複雑なアクションやインタラクションを含むシナリオであっても、モーション一貫性のあるビデオを生成することができる。 ReVisionは動きの忠実度とコヒーレンスを大幅に向上させる。 注目すべきは、1.5Bのパラメータだけで、複雑なビデオ生成に対して13B以上のパラメータを持つ最先端のビデオ生成モデルよりもかなり優れています。 以上の結果から,3次元物理知識を取り入れることで,比較的小さなビデオ拡散モデルでも,より現実性や制御性の高い複雑な動きやインタラクションを生成できることが示唆された。

関連論文リスト

• RAGME: Retrieval Augmented Video Generation for Enhanced Motion Realism [73.38167494118746]
  生成ビデオにおける動きのリアリズムを改善するための枠組みを提案する。 生成フェーズにおける検索機構の導入を提唱する。 私たちのパイプラインは、どんなテキスト間拡散モデルにも適用できるように設計されています。
  論文  参考訳（メタデータ） (2025-04-09T08:14:05Z)
• Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach [42.581066866708085]
  三次元幾何学と動的認識を統合した新しい映像生成フレームワークを提案する。 これを実現するために、3Dポイントトラジェクトリで2Dビデオを拡大し、ピクセル空間に配置する。 結果の3D対応ビデオデータセットであるPointVidは、遅延拡散モデルを微調整するために使用される。 ビデオ中の物体の形状と動きを規則化し、望ましくない人工物を排除する。
  論文  参考訳（メタデータ） (2025-02-05T21:49:06Z)
• VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models [71.9811050853964]
  VideoJAMは、ビデオジェネレータの前に効果的な動きを注入する新しいフレームワークである。 VideoJAMは動きコヒーレンスにおける最先端のパフォーマンスを達成する。 これらの知見は、外観と動きが相補的であり、効果的に統合されると、映像生成の視覚的品質とコヒーレンスの両方を高めることを強調した。
  論文  参考訳（メタデータ） (2025-02-04T17:07:10Z)
• LiftImage3D: Lifting Any Single Image to 3D Gaussians with Video Generation Priors [107.83398512719981]
  シングルイメージの3D再構成は、コンピュータビジョンの根本的な課題である。 遅延ビデオ拡散モデルの最近の進歩は、大規模ビデオデータから学ぶ有望な3D事前情報を提供する。 本稿では,LVDMの生成先行情報を効果的にリリースするフレームワークであるLiftImage3Dを提案する。
  論文  参考訳（メタデータ） (2024-12-12T18:58:42Z)
• Hybrid Video Diffusion Models with 2D Triplane and 3D Wavelet Representation [35.52770785430601]
  複雑な依存関係をより効率的にキャプチャできるHVtemporalDMというハイブリッドビデオオートエンコーダを提案する。 HVDMは、ビデオの歪んだ表現を抽出するハイブリッドビデオオートエンコーダによって訓練される。 当社のハイブリッドオートエンコーダは、生成されたビデオに詳細な構造と詳細を付加した、より包括的なビデオラテントを提供します。
  論文  参考訳（メタデータ） (2024-02-21T11:46:16Z)
• LaMD: Latent Motion Diffusion for Image-Conditional Video Generation [63.34574080016687]
  LaMDフレームワークは、モーション分解されたビデオオートエンコーダと拡散に基づくモーションジェネレータで構成される。 LaMDは、BAIR、Landscape、NATOPS、MUG、CATER-GENなど、さまざまなベンチマークデータセットで高品質なビデオを生成する。
  論文  参考訳（メタデータ） (2023-04-23T10:32:32Z)
• PV3D: A 3D Generative Model for Portrait Video Generation [94.96025739097922]
  我々は,多視点一貫した肖像画を合成できる最初の生成フレームワークであるPV3Dを提案する。 PV3Dは、静的ポートレートのアニメーションやビュー一貫性のあるビデオモーション編集など、多くのダウンストリームアプリケーションをサポートすることができる。
  論文  参考訳（メタデータ） (2022-12-13T05:42:44Z)
• Imagen Video: High Definition Video Generation with Diffusion Models [64.06483414521222]
  Imagen Videoは、ビデオ拡散モデルのカスケードに基づくテキスト条件付きビデオ生成システムである。 我々は高精細度ビデオを生成することができるが、高い可制御性と世界的知識を持つ画像n Videoを見いだす。
  論文  参考訳（メタデータ） (2022-10-05T14:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。