論文の概要: Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics

• arxiv url: http://arxiv.org/abs/2408.04631v1
• Date: Thu, 8 Aug 2024 17:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 14:48:21.020370
• Title: Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics
• Title（参考訳）: Puppet-Master: パートレベルダイナミクスに先立つ動きとしてインタラクティブなビデオ生成をスケールする
• Authors: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi,
• Abstract要約: 本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
• 参考スコア（独自算出の注目度）: 67.97235923372035
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present Puppet-Master, an interactive video generative model that can serve as a motion prior for part-level dynamics. At test time, given a single image and a sparse set of motion trajectories (i.e., drags), Puppet-Master can synthesize a video depicting realistic part-level motion faithful to the given drag interactions. This is achieved by fine-tuning a large-scale pre-trained video diffusion model, for which we propose a new conditioning architecture to inject the dragging control effectively. More importantly, we introduce the all-to-first attention mechanism, a drop-in replacement for the widely adopted spatial attention modules, which significantly improves generation quality by addressing the appearance and background issues in existing models. Unlike other motion-conditioned video generators that are trained on in-the-wild videos and mostly move an entire object, Puppet-Master is learned from Objaverse-Animation-HQ, a new dataset of curated part-level motion clips. We propose a strategy to automatically filter out sub-optimal animations and augment the synthetic renderings with meaningful motion trajectories. Puppet-Master generalizes well to real images across various categories and outperforms existing methods in a zero-shot manner on a real-world benchmark. See our project page for more results: vgg-puppetmaster.github.io.
• Abstract（参考訳）: 本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、1つのイメージとスパースな動き軌跡(すなわちドラッグ)が与えられた場合、Puppet-Masterは、与えられたドラッグの相互作用に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。 これは、ドラッグング制御を効果的に注入する新しい条件付けアーキテクチャを提案する大規模な事前学習ビデオ拡散モデルを微調整することで実現される。 より重要なことは、広く採用されている空間的注意モジュールのドロップイン置換であるオール・ツー・ファースト・アテンション機構を導入し、既存のモデルにおける外観や背景問題に対処することで、生成品質を著しく向上させることである。 他のモーションコンディション付きビデオジェネレータとは異なり、Puppet-MasterはObjaverse-Animation-HQから学習されている。 そこで本研究では,最適なアニメーションを自動的にフィルタリングし,意味のある動き軌跡を持つ合成レンダリングを増強する手法を提案する。 Puppet-Masterは、さまざまなカテゴリにわたる実際のイメージを一般化し、実世界のベンチマークでゼロショットで既存のメソッドを上回ります。 vgg-puppetmaster.github.io

関連論文リスト

• VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models [71.9811050853964]
  VideoJAMは、ビデオジェネレータの前に効果的な動きを注入する新しいフレームワークである。 VideoJAMは動きコヒーレンスにおける最先端のパフォーマンスを達成する。 これらの知見は、外観と動きが相補的であり、効果的に統合されると、映像生成の視覚的品質とコヒーレンスの両方を高めることを強調した。
  論文  参考訳（メタデータ） (2025-02-04T17:07:10Z)
• Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
  スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。 ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。 我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:56Z)
• Controllable Longer Image Animation with Diffusion Models [12.565739255499594]
  動画拡散モデルを用いた動き先行画像を用いたオープンドメイン制御可能な画像アニメーション手法を提案する。 本手法は動画から運動場情報を抽出することにより移動領域の運動方向と速度を正確に制御する。 本稿では,画像アニメーションタスクに特化して最適化されたノイズ再スケジュールに基づく,効率的な長周期ビデオ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:08:00Z)
• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。