論文の概要: Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics

• arxiv url: http://arxiv.org/abs/2408.04631v1
• Date: Thu, 8 Aug 2024 17:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 14:48:21.020370
• Title: Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics
• Title（参考訳）: Puppet-Master: パートレベルダイナミクスに先立つ動きとしてインタラクティブなビデオ生成をスケールする
• Authors: Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi,
• Abstract要約: 本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
• 参考スコア（独自算出の注目度）: 67.97235923372035
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present Puppet-Master, an interactive video generative model that can serve as a motion prior for part-level dynamics. At test time, given a single image and a sparse set of motion trajectories (i.e., drags), Puppet-Master can synthesize a video depicting realistic part-level motion faithful to the given drag interactions. This is achieved by fine-tuning a large-scale pre-trained video diffusion model, for which we propose a new conditioning architecture to inject the dragging control effectively. More importantly, we introduce the all-to-first attention mechanism, a drop-in replacement for the widely adopted spatial attention modules, which significantly improves generation quality by addressing the appearance and background issues in existing models. Unlike other motion-conditioned video generators that are trained on in-the-wild videos and mostly move an entire object, Puppet-Master is learned from Objaverse-Animation-HQ, a new dataset of curated part-level motion clips. We propose a strategy to automatically filter out sub-optimal animations and augment the synthetic renderings with meaningful motion trajectories. Puppet-Master generalizes well to real images across various categories and outperforms existing methods in a zero-shot manner on a real-world benchmark. See our project page for more results: vgg-puppetmaster.github.io.
• Abstract（参考訳）: 本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、1つのイメージとスパースな動き軌跡(すなわちドラッグ)が与えられた場合、Puppet-Masterは、与えられたドラッグの相互作用に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。 これは、ドラッグング制御を効果的に注入する新しい条件付けアーキテクチャを提案する大規模な事前学習ビデオ拡散モデルを微調整することで実現される。 より重要なことは、広く採用されている空間的注意モジュールのドロップイン置換であるオール・ツー・ファースト・アテンション機構を導入し、既存のモデルにおける外観や背景問題に対処することで、生成品質を著しく向上させることである。 他のモーションコンディション付きビデオジェネレータとは異なり、Puppet-MasterはObjaverse-Animation-HQから学習されている。 そこで本研究では,最適なアニメーションを自動的にフィルタリングし,意味のある動き軌跡を持つ合成レンダリングを増強する手法を提案する。 Puppet-Masterは、さまざまなカテゴリにわたる実際のイメージを一般化し、実世界のベンチマークでゼロショットで既存のメソッドを上回ります。 vgg-puppetmaster.github.io

関連論文リスト

• UniAnimate: Taming Unified Video Diffusion Models for Consistent Human Image Animation [53.16986875759286]
  We present a UniAnimate framework to enable efficient and long-term human video generation。 我々は、姿勢案内やノイズビデオとともに参照画像を共通の特徴空間にマッピングする。 また、ランダムノイズ入力と第1フレーム条件入力をサポートする統一ノイズ入力を提案する。
  論文  参考訳（メタデータ） (2024-06-03T10:51:10Z)
• Controllable Longer Image Animation with Diffusion Models [12.565739255499594]
  動画拡散モデルを用いた動き先行画像を用いたオープンドメイン制御可能な画像アニメーション手法を提案する。 本手法は動画から運動場情報を抽出することにより移動領域の運動方向と速度を正確に制御する。 本稿では,画像アニメーションタスクに特化して最適化されたノイズ再スケジュールに基づく,効率的な長周期ビデオ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:08:00Z)
• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• Learn the Force We Can: Enabling Sparse Motion Control in Multi-Object Video Generation [26.292052071093945]
  単一のフレームとスパース動作入力からビデオを生成する教師なしの手法を提案する。 我々の訓練されたモデルは、目に見えない現実的なオブジェクト間相互作用を生成できる。 ヨダは、制御性と映像品質の両面において、先行するアートビデオ生成の状況と同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-06-06T19:50:02Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。