論文の概要: MotiF: Making Text Count in Image Animation with Motion Focal Loss

• arxiv url: http://arxiv.org/abs/2412.16153v2
• Date: Sun, 23 Mar 2025 00:30:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:32:07.851303
• Title: MotiF: Making Text Count in Image Animation with Motion Focal Loss
• Title（参考訳）: MotiF:モーションフォカロスによる画像アニメーションのテキストカウント
• Authors: Shijie Wang, Samaneh Azadi, Rohit Girdhar, Saketh Rambhatla, Chen Sun, Xi Yin,
• Abstract要約: Text-Image-to-Video (TI2V) の生成は、テキスト記述に従って画像からビデオを生成することを目的としている。 我々は、モデル学習をより多くの動きを持つ領域に誘導する、シンプルで効果的なアプローチであるMotiFを紹介した。 運動熱マップを生成するために光学的流れを使用し、運動の強度に応じて損失を重み付けする。
• 参考スコア（独自算出の注目度）: 27.950633331625284
• License:
• Abstract: Text-Image-to-Video (TI2V) generation aims to generate a video from an image following a text description, which is also referred to as text-guided image animation. Most existing methods struggle to generate videos that align well with the text prompts, particularly when motion is specified. To overcome this limitation, we introduce MotiF, a simple yet effective approach that directs the model's learning to the regions with more motion, thereby improving the text alignment and motion generation. We use optical flow to generate a motion heatmap and weight the loss according to the intensity of the motion. This modified objective leads to noticeable improvements and complements existing methods that utilize motion priors as model inputs. Additionally, due to the lack of a diverse benchmark for evaluating TI2V generation, we propose TI2V Bench, a dataset consists of 320 image-text pairs for robust evaluation. We present a human evaluation protocol that asks the annotators to select an overall preference between two videos followed by their justifications. Through a comprehensive evaluation on TI2V Bench, MotiF outperforms nine open-sourced models, achieving an average preference of 72%. The TI2V Bench and additional results are released in https://wang-sj16.github.io/motif/.
• Abstract（参考訳）: Text-Image-to-Video (TI2V) 生成は、テキスト記述に続く画像からビデオを生成することを目的としている。 既存のほとんどの方法は、特に動きが特定されたときに、テキストプロンプトとうまく一致したビデオを生成するのに苦労している。 この制限を克服するために、モデル学習をより多くの動きを持つ領域に向け、テキストアライメントとモーション生成を改善する、シンプルで効果的なアプローチであるMotiFを導入する。 運動熱マップを生成するために光学的流れを使用し、運動の強度に応じて損失を重み付けする。 この修正された目的は顕著な改善をもたらし、モデル入力としてモーション先行を利用する既存のメソッドを補完する。 さらに, TI2V 生成評価のための多種多様なベンチマークが欠如しているため, 堅牢な評価のための320の画像テキストペアからなるデータセット TI2V Bench を提案する。 本稿では,アノテータに対して2つのビデオ間の全体的な選好を選択し,その正当性を判断する人間評価プロトコルを提案する。 TI2V Benchに関する包括的な評価を通じて、MotiFは9つのオープンソースモデルを上回っ、72%の平均的な嗜好を達成している。 TI2V Benchと追加の結果はhttps://wang-sj16.github.io/motif/で公開されている。

関連論文リスト

• MotionMatcher: Motion Customization of Text-to-Video Diffusion Models via Motion Feature Matching [27.28898943916193]
  テキスト・ツー・ビデオ(T2V)拡散モデルは、入力されたテキスト・プロンプトからリアルな動画を合成する有望な能力を持つ。 本研究では,モーションガイダンスとして参照映像が提供される動作カスタマイズ問題に取り組む。 我々は,事前学習したT2V拡散モデルを特徴レベルで微調整するモーションカスタマイズフレームワークであるMotionMatcherを提案する。
  論文  参考訳（メタデータ） (2025-02-18T19:12:51Z)
• Mimir: Improving Video Diffusion Models for Precise Text Understanding [53.72393225042688]
  テキストは、ナラティブな性質のため、ビデオ生成におけるキーコントロールシグナルとして機能する。 近年の大規模言語モデル(LLM)の成功はデコーダのみのトランスフォーマーのパワーを示している。 この作業は、慎重に調整されたトークンフィーザーを備えたエンドツーエンドのトレーニングフレームワークであるMimirによる、この課題に対処する。
  論文  参考訳（メタデータ） (2024-12-04T07:26:44Z)
• Text-Animator: Controllable Visual Text Video Generation [149.940821790235]
  ビジュアルテキストビデオ生成のための革新的アプローチであるText-Animatorを提案する。 Text-Animatorには、生成されたビデオの視覚的テキスト構造を正確に描写するテキスト埋め込みインジェクションモジュールが含まれている。 また、生成した視覚テキストの安定性を向上させるために、カメラ制御モジュールとテキストリファインメントモジュールを開発する。
  論文  参考訳（メタデータ） (2024-06-25T17:59:41Z)
• TI2V-Zero: Zero-Shot Image Conditioning for Text-to-Video Diffusion Models [40.38379402600541]
  TI2V-Zeroは、予め訓練されたテキスト・ツー・ビデオ(T2V)拡散モデルを、提供される画像に条件付けることができるゼロショット・チューニングフリーの手法である。 付加的な画像入力で映像生成を誘導するために,逆復調過程を変調する「繰り返しスライド」戦略を提案する。 TI2V-Zeroは、最新のオープンドメインTI2Vモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2024-04-25T03:21:11Z)
• Pix2Gif: Motion-Guided Diffusion for GIF Generation [70.64240654310754]
  画像からGIF(ビデオ)生成のための移動誘導拡散モデルPix2Gifを提案する。 本研究では,2種類のプロンプトに条件付きソース画像の特徴を空間的に変換する動き誘導型ワープモジュールを提案する。 モデルトレーニングの準備として、TGIFビデオキャプチャデータセットからコヒーレントな画像フレームを抽出し、精巧にデータをキュレートした。
  論文  参考訳（メタデータ） (2024-03-07T16:18:28Z)
• LivePhoto: Real Image Animation with Text-guided Motion Control [51.31418077586208]
  この研究はLivePhotoという名前の実用的なシステムを示し、ユーザーが興味のある画像をテキスト記述でアニメーション化することができる。 まず、よく学習されたテキスト・ツー・イメージ・ジェネレータ(すなわち、安定拡散)がさらに入力として画像を取るのを助ける強力なベースラインを確立する。 次に、時間的モデリングのためのモーションモジュールを改良されたジェネレータに装備し、テキストとモーションのリンクをより良くするための、慎重に設計されたトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-12-05T17:59:52Z)
• Tune-A-Video: One-Shot Tuning of Image Diffusion Models for Text-to-Video Generation [31.882356164068753]
  テキスト・トゥ・イメージ(T2I)生成の成功を再現するため、最近のテキスト・トゥ・ビデオ(T2V)生成では、T2V生成のためのデータセットに大量のデータセットが使用されている。 そこで本研究では,Tune-A-Videoが様々なアプリケーション上で時間的コヒーレントなビデオを生成することを提案する。
  論文  参考訳（メタデータ） (2022-12-22T09:43:36Z)
• Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
  Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。 我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。 空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
  論文  参考訳（メタデータ） (2022-09-29T13:59:46Z)
• Make It Move: Controllable Image-to-Video Generation with Text Descriptions [69.52360725356601]
  TI2Vタスクは、静的画像とテキスト記述からビデオを生成することを目的としている。 これらの課題に対処するために,革新的なアンカー構造を持つモーションアンカー型ビデオGEnerator (MAGE) を提案する。 データセットで行った実験は、MAGEの有効性を検証するとともに、TI2Vタスクの魅力を示す。
  論文  参考訳（メタデータ） (2021-12-06T07:00:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。