論文の概要: MotionCraft: Physics-based Zero-Shot Video Generation

• arxiv url: http://arxiv.org/abs/2405.13557v2
• Date: Fri, 25 Oct 2024 10:01:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:35:28.606528
• Title: MotionCraft: Physics-based Zero-Shot Video Generation
• Title（参考訳）: MotionCraft:物理ベースのゼロショットビデオ生成
• Authors: Luca Savant Aira, Antonio Montanaro, Emanuele Aiello, Diego Valsesia, Enrico Magli,
• Abstract要約: MotionCraftは物理ベースのリアルなビデオを作るためのゼロショットビデオジェネレータだ。 安定拡散のような画像拡散モデルのノイズ潜時空間を光学的流れを適用することにより、MotionCraftがワープできることが示される。 我々は,この手法を最先端のText2Video-Zeroレポートと比較し,質的,定量的に改善した。
• 参考スコア（独自算出の注目度）: 22.33113030344355
• License:
• Abstract: Generating videos with realistic and physically plausible motion is one of the main recent challenges in computer vision. While diffusion models are achieving compelling results in image generation, video diffusion models are limited by heavy training and huge models, resulting in videos that are still biased to the training dataset. In this work we propose MotionCraft, a new zero-shot video generator to craft physics-based and realistic videos. MotionCraft is able to warp the noise latent space of an image diffusion model, such as Stable Diffusion, by applying an optical flow derived from a physics simulation. We show that warping the noise latent space results in coherent application of the desired motion while allowing the model to generate missing elements consistent with the scene evolution, which would otherwise result in artefacts or missing content if the flow was applied in the pixel space. We compare our method with the state-of-the-art Text2Video-Zero reporting qualitative and quantitative improvements, demonstrating the effectiveness of our approach to generate videos with finely-prescribed complex motion dynamics. Project page: https://mezzelfo.github.io/MotionCraft/
• Abstract（参考訳）: リアルで物理的に可視なモーションでビデオを生成することは、コンピュータビジョンにおける最近の大きな課題の1つだ。 拡散モデルは画像生成において魅力的な結果をもたらす一方、ビデオ拡散モデルは重いトレーニングと巨大なモデルによって制限され、結果としてまだトレーニングデータセットに偏っている。 本研究で提案するMotionCraftは、物理ベースのリアルなビデオを作るためのゼロショットビデオジェネレータだ。 MotionCraftは、物理シミュレーションから導かれた光学フローを適用することで、安定拡散のような画像拡散モデルのノイズ潜在空間をワープすることができる。 ノイズ潜時空間のゆらぎは,所望の動作のコヒーレントな適用をもたらすとともに,シーンの進化に整合した欠落要素を生成できることを示し,それ以外は,フローが画素空間に印加された場合のアーチファクトや欠落内容をもたらすことを示した。 提案手法と最新技術であるText2Video-Zeroによる質的かつ定量的な改善を報告する。 プロジェクトページ: https://mezzelfo.github.io/MotionCraft/

関連論文リスト

• PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
  本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。 リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。 我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
  論文  参考訳（メタデータ） (2024-09-27T17:59:57Z)
• VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
  生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。 そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。 人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
  論文  参考訳（メタデータ） (2024-06-05T17:53:55Z)
• DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• Controllable Longer Image Animation with Diffusion Models [12.565739255499594]
  動画拡散モデルを用いた動き先行画像を用いたオープンドメイン制御可能な画像アニメーション手法を提案する。 本手法は動画から運動場情報を抽出することにより移動領域の運動方向と速度を正確に制御する。 本稿では,画像アニメーションタスクに特化して最適化されたノイズ再スケジュールに基づく,効率的な長周期ビデオ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:08:00Z)
• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• LaMD: Latent Motion Diffusion for Video Generation [69.4111397077229]
  LaMDフレームワークは、モーション分解されたビデオオートエンコーダと拡散に基づくモーションジェネレータで構成される。 その結果、LaMDはダイナミックスから高度に制御可能な動きに至るまで、幅広い動きを持つ高品質なビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2023-04-23T10:32:32Z)
• PhysDiff: Physics-Guided Human Motion Diffusion Model [101.1823574561535]
  既存の運動拡散モデルは、拡散過程における物理学の法則をほとんど無視する。 PhysDiffは拡散過程に物理的制約を組み込む。 提案手法は,最先端の動作品質を実現し,身体的可視性を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-12-05T18:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。