論文の概要: MotionZero:Exploiting Motion Priors for Zero-shot Text-to-Video Generation

• arxiv url: http://arxiv.org/abs/2311.16635v1
• Date: Tue, 28 Nov 2023 09:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 19:11:30.211247
• Title: MotionZero:Exploiting Motion Priors for Zero-shot Text-to-Video Generation
• Title（参考訳）: MotionZero:ゼロショットテキスト・ビデオ・ジェネレーションの先行動作
• Authors: Sitong Su, Litao Guo, Lianli Gao, Hengtao Shen and Jingkuan Song
• Abstract要約: ゼロショットのテキスト・トゥ・ビデオ合成は、ビデオなしでプロンプトに基づいてビデオを生成する。 本研究では,MotionZeroと命名されたプロンプト適応型・アンタングル型モーションコントロール戦略を提案する。 我々の戦略は、異なるオブジェクトの動きを正しく制御し、ゼロショットビデオ編集を含む多目的アプリケーションをサポートする。
• 参考スコア（独自算出の注目度）: 131.1446077627191
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zero-shot Text-to-Video synthesis generates videos based on prompts without any videos. Without motion information from videos, motion priors implied in prompts are vital guidance. For example, the prompt "airplane landing on the runway" indicates motion priors that the "airplane" moves downwards while the "runway" stays static. Whereas the motion priors are not fully exploited in previous approaches, thus leading to two nontrivial issues: 1) the motion variation pattern remains unaltered and prompt-agnostic for disregarding motion priors; 2) the motion control of different objects is inaccurate and entangled without considering the independent motion priors of different objects. To tackle the two issues, we propose a prompt-adaptive and disentangled motion control strategy coined as MotionZero, which derives motion priors from prompts of different objects by Large-Language-Models and accordingly applies motion control of different objects to corresponding regions in disentanglement. Furthermore, to facilitate videos with varying degrees of motion amplitude, we propose a Motion-Aware Attention scheme which adjusts attention among frames by motion amplitude. Extensive experiments demonstrate that our strategy could correctly control motion of different objects and support versatile applications including zero-shot video edit.
• Abstract（参考訳）: ゼロショットテキスト・トゥ・ビデオ合成は、ビデオなしでプロンプトに基づいてビデオを生成する。 動画からの動き情報がないと、プロンプトに暗示される動き優先が重要なガイダンスとなる。 例えば、プロンプト "airplane landing on the runway" は、"airplane" が下方へ動く前に、"runway" が静止していることを示す。 動きの優先順位は以前のアプローチで完全には悪用されていないため、2つの非自明な問題に繋がる。 1) 動きの変動パターンは,動きの先行性を無視したまま,かつ,即時無依存である。 2) 異なる物体の運動制御は、異なる物体の独立運動先行を考慮せずに不正確かつ絡み合っている。 この2つの課題に対処するために,大言語モデルによる異なる物体のプロンプトから動き先行を導出するMotionZeroと呼ばれるプロンプト適応型・アンタングル型モーションコントロール戦略を提案する。 さらに,動き振幅の度合いの異なる動画を容易にするために,動き振幅によるフレーム間の注意調整を行う動き認識方式を提案する。 広範な実験により,提案手法が異なる物体の動きを正しく制御し,ゼロショット映像編集を含む多用途アプリケーションをサポートすることを実証した。

関連論文リスト

• MotionBank: A Large-scale Video Motion Benchmark with Disentangled Rule-based Annotations [85.85596165472663]
  我々は、13の動画アクションデータセット、1.24Mのモーションシーケンス、132.9Mの自然な、多様な人間のモーションフレームからなるMotionBankを構築した。 私たちのMotionBankは、人間のモーション生成、モーションインコンテキスト生成、そしてモーション理解といった、一般的なモーション関連タスクに役立ちます。
  論文  参考訳（メタデータ） (2024-10-17T17:31:24Z)
• Reenact Anything: Semantic Video Motion Transfer Using Motion-Textual Inversion [9.134743677331517]
  本研究では、動きから外見を遠ざけるために、事前訓練された画像間映像モデルを提案する。 動作テキストインバージョン(Motion-textual Inversion)と呼ばれるこの手法は、画像から映像へのモデルが、主に(相対的な)画像入力から外観を抽出する、という観察を生かしている。 フレームごとの複数のテキスト/画像埋め込みトークンを含むインフレーションされたモーションテキスト埋め込みを操作することにより、高時間運動粒度を実現する。 動作参照ビデオと対象画像の間に空間的アライメントを必要とせず,様々な領域にまたがって一般化し,様々なタスクに適用することができる。
  論文  参考訳（メタデータ） (2024-08-01T10:55:20Z)
• Motion meets Attention: Video Motion Prompts [34.429192862783054]
  フレーム差分マップからの動き信号を変調するアテンション機構として,学習可能な傾きとシフトパラメータを持つ修正シグモイド関数を提案する。 このアプローチは、モーション関連ビデオコンテンツの処理を強化するアテンションマップのシーケンスを生成する。 SlowGymやX3D、Timeformerといったモデルに、当社の軽量でプラグアンドプレイのモーションプロンプト層がシームレスに統合されていることが分かりました。
  論文  参考訳（メタデータ） (2024-07-03T14:59:46Z)
• MotionClone: Training-Free Motion Cloning for Controllable Video Generation [41.621147782128396]
  MotionCloneは、参照ビデオから多目的なモーションコントロールビデオ生成までのモーションクローンを可能にする、トレーニング不要のフレームワークである。 MotionCloneは、大域的なカメラの動きと局所的な物体の動きの両方の習熟度を示し、動きの忠実さ、テキストアライメント、時間的一貫性の点で顕著に優れている。
  論文  参考訳（メタデータ） (2024-06-08T03:44:25Z)
• MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion [94.66090422753126]
  MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。 優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。 最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
  論文  参考訳（メタデータ） (2024-05-30T17:57:30Z)
• Follow-Your-Click: Open-domain Regional Image Animation via Short Prompts [67.5094490054134]
  簡単なユーザクリックで画像アニメーションを実現するために,Follow-Your-Clickという実用的なフレームワークを提案する。 我々のフレームワークは、従来の方法よりもシンプルで正確なユーザ制御と、より優れた生成性能を備えています。
  論文  参考訳（メタデータ） (2024-03-13T05:44:37Z)
• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• MotionCtrl: A Unified and Flexible Motion Controller for Video Generation [77.09621778348733]
  ビデオ中の動きは、主にカメラの動きによって誘導されるカメラの動きと、物体の動きによって生じる物体の動きから成り立っている。 本稿では,カメラと物体の動きを効果的かつ独立に制御するビデオ生成用統合モーションコントローラであるMotionCtrlを提案する。
  論文  参考訳（メタデータ） (2023-12-06T17:49:57Z)
• Space-Time Diffusion Features for Zero-Shot Text-Driven Motion Transfer [27.278989809466392]
  本稿では,対象オブジェクトとシーンを記述する入力テキストプロンプトに準拠する動画を合成する,テキスト駆動型モーショントランスファーの新しい手法を提案する。 我々は、事前に訓練された、固定されたテキスト-ビデオ拡散モデルを活用し、生成および動きの先行情報を提供する。
  論文  参考訳（メタデータ） (2023-11-28T18:03:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。