論文の概要: Make It Move: Controllable Image-to-Video Generation with Text Descriptions

• arxiv url: http://arxiv.org/abs/2112.02815v1
• Date: Mon, 6 Dec 2021 07:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 14:24:35.303390
• Title: Make It Move: Controllable Image-to-Video Generation with Text Descriptions
• Title（参考訳）: テキスト記述で動画を再生できる「Make It Move」
• Authors: Yaosi Hu, Chong Luo, Zhenzhong Chen
• Abstract要約: TI2Vタスクは、静的画像とテキスト記述からビデオを生成することを目的としている。 これらの課題に対処するために,革新的なアンカー構造を持つモーションアンカー型ビデオGEnerator (MAGE) を提案する。 データセットで行った実験は、MAGEの有効性を検証するとともに、TI2Vタスクの魅力を示す。
• 参考スコア（独自算出の注目度）: 69.52360725356601
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Generating controllable videos conforming to user intentions is an appealing yet challenging topic in computer vision. To enable maneuverable control in line with user intentions, a novel video generation task, named Text-Image-to-Video generation (TI2V), is proposed. With both controllable appearance and motion, TI2V aims at generating videos from a static image and a text description. The key challenges of TI2V task lie both in aligning appearance and motion from different modalities, and in handling uncertainty in text descriptions. To address these challenges, we propose a Motion Anchor-based video GEnerator (MAGE) with an innovative motion anchor (MA) structure to store appearance-motion aligned representation. To model the uncertainty and increase the diversity, it further allows the injection of explicit condition and implicit randomness. Through three-dimensional axial transformers, MA is interacted with given image to generate next frames recursively with satisfying controllability and diversity. Accompanying the new task, we build two new video-text paired datasets based on MNIST and CATER for evaluation. Experiments conducted on these datasets verify the effectiveness of MAGE and show appealing potentials of TI2V task. Source code for model and datasets will be available soon.
• Abstract（参考訳）: ユーザの意図に応じたコントロール可能なビデオを生成することは、コンピュータビジョンにおいて魅力的だが難しいトピックである。 ユーザの意図に応じて操作可能な制御を可能にするために,テキスト画像・ビデオ生成(TI2V)と呼ばれる新しいビデオ生成タスクを提案する。 制御可能な外観と動きの両方で、TI2Vは静的画像とテキスト記述からビデオを生成することを目指している。 TI2Vタスクの主な課題は、異なるモダリティからの外観と動きの整列と、テキスト記述の不確実性を扱うことである。 これらの課題に対処するため,我々は,外観と動作の整合表現を格納する革新的なモーションアンカー構造を持つモーションアンカー型ビデオジェネレータ(mage)を提案する。 不確実性をモデル化し、多様性を高めるため、明示的な条件と暗黙的なランダム性の注入も可能となる。 3次元軸変換器を介して、MAは所定の画像と相互作用し、制御性と多様性を満足する次のフレームを再帰的に生成する。 新しいタスクに対応して、MNISTとCATERに基づく2つのビデオテキストペアデータセットを構築し、評価を行う。 これらのデータセットを用いて実験を行い、MAGEの有効性を確認し、TI2Vタスクの魅力を示す。 モデルとデータセットのソースコードが近く提供される。

関連論文リスト

• InTraGen: Trajectory-controlled Video Generation for Object Interactions [100.79494904451246]
  InTraGenは、オブジェクトインタラクションシナリオのトラジェクトリベースの生成を改善するパイプラインである。 その結果,視覚的忠実度と定量的性能の両面での改善が示された。
  論文  参考訳（メタデータ） (2024-11-25T14:27:50Z)
• RACCooN: A Versatile Instructional Video Editing Framework with Auto-Generated Narratives [58.15403987979496]
  本稿では,RACCooNを提案する。 ビデオ生成モデルは、自動生成された物語や指示を取り入れて、生成されたコンテンツの質と精度を高める。 提案フレームワークは,ビデオ・パラグラフ生成,映像コンテンツ編集において優れた多機能性を示し,さらに拡張するために他のSoTAビデオ生成モデルに組み込むことができる。
  論文  参考訳（メタデータ） (2024-05-28T17:46:36Z)
• Video Captioning with Aggregated Features Based on Dual Graphs and Gated Fusion [6.096411752534632]
  ビデオキャプションモデルの応用は、正確な自然言語を用いて動画の内容を翻訳することを目的としている。 既存の方法は、しばしばビデオコンテンツの十分な特徴表現を生成するのに失敗する。 二重グラフとゲート融合に基づくビデオキャプションモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-13T05:18:08Z)
• DirecT2V: Large Language Models are Frame-Level Directors for Zero-Shot Text-to-Video Generation [37.25815760042241]
  本稿では,テキスト・ツー・ビデオ(T2V)ビデオを生成するための新しいフレームワークであるDirecT2Vを紹介する。 拡散モデルに新しい値マッピング法とデュアルソフトマックスフィルタリングを適用し、追加のトレーニングを必要としない。 実験により,視覚的コヒーレントかつストーリーフルなビデオ制作におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2023-05-23T17:57:09Z)
• Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning [50.60891619269651]
  Control-A-Videoは制御可能なT2V拡散モデルであり、テキストプロンプトやエッジや奥行きマップのような参照制御マップに条件付のビデオを生成することができる。 本稿では,拡散に基づく生成プロセスに,コンテンツの事前と動作を組み込む新しい手法を提案する。 我々のフレームワークは、制御可能なテキスト・ツー・ビデオ生成における既存の最先端手法と比較して、高品質で一貫性のあるビデオを生成する。
  論文  参考訳（メタデータ） (2023-05-23T09:03:19Z)
• Text-driven Video Prediction [83.04845684117835]
  テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。 本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。 進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
  論文  参考訳（メタデータ） (2022-10-06T12:43:07Z)
• Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
  Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。 我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。 空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
  論文  参考訳（メタデータ） (2022-09-29T13:59:46Z)
• Dual-MTGAN: Stochastic and Deterministic Motion Transfer for Image-to-Video Synthesis [38.41763708731513]
  本稿では,映像データと映像データを入力として取り込むDual Motion Transfer GAN(Dual-MTGAN)を提案する。 我々のDual-MTGANは、決定論的モーショントランスファーとモーションジェネレーションを行うことができる。 提案モデルは、ポーズや顔のランドマークのような事前定義された動作特徴を利用することなく、エンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-02-26T06:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。