論文の概要: Training-free Guidance in Text-to-Video Generation via Multimodal Planning and Structured Noise Initialization
- arxiv url: http://arxiv.org/abs/2504.08641v1
- Date: Fri, 11 Apr 2025 15:41:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 14:20:34.837123
- Title: Training-free Guidance in Text-to-Video Generation via Multimodal Planning and Structured Noise Initialization
- Title（参考訳）: マルチモーダル計画と構造化雑音初期化によるテキスト・ビデオ生成における学習自由誘導
- Authors: Jialu Li, Shoubin Yu, Han Lin, Jaemin Cho, Jaehong Yoon, Mohit Bansal,
- Abstract要約: Video-MSGはマルチモーダル計画と構造化雑音初期化に基づくT2V生成のトレーニング不要手法である。
ノイズインバージョンとデノベーションを通じて、ビデオスケッチで下流のT2V拡散モデルを導出する。
ビデオMSGは、推論時間にメモリを追加して微調整や注意操作を必要としないため、大きなT2Vモデルを採用するのが簡単である。
- 参考スコア（独自算出の注目度）: 63.37161241355025
- License:
- Abstract: Recent advancements in text-to-video (T2V) diffusion models have significantly enhanced the visual quality of the generated videos. However, even recent T2V models find it challenging to follow text descriptions accurately, especially when the prompt requires accurate control of spatial layouts or object trajectories. A recent line of research uses layout guidance for T2V models that require fine-tuning or iterative manipulation of the attention map during inference time. This significantly increases the memory requirement, making it difficult to adopt a large T2V model as a backbone. To address this, we introduce Video-MSG, a training-free Guidance method for T2V generation based on Multimodal planning and Structured noise initialization. Video-MSG consists of three steps, where in the first two steps, Video-MSG creates Video Sketch, a fine-grained spatio-temporal plan for the final video, specifying background, foreground, and object trajectories, in the form of draft video frames. In the last step, Video-MSG guides a downstream T2V diffusion model with Video Sketch through noise inversion and denoising. Notably, Video-MSG does not need fine-tuning or attention manipulation with additional memory during inference time, making it easier to adopt large T2V models. Video-MSG demonstrates its effectiveness in enhancing text alignment with multiple T2V backbones (VideoCrafter2 and CogVideoX-5B) on popular T2V generation benchmarks (T2VCompBench and VBench). We provide comprehensive ablation studies about noise inversion ratio, different background generators, background object detection, and foreground object segmentation.
- Abstract（参考訳）: テキスト・ツー・ビデオ拡散モデル(T2V)の最近の進歩は、生成されたビデオの視覚的品質を大幅に向上させた。
しかし、最近のT2Vモデルでさえ、特にプロンプトが空間配置や物体軌道の正確な制御を必要とする場合、テキスト記述を正確に追従することは困難である。
最近の研究は、推論時間中に注意マップの微調整や反復的な操作を必要とするT2Vモデルのレイアウトガイダンスを用いている。
これによりメモリ要求が大幅に増加し、大きなT2Vモデルをバックボーンとして採用することは困難になった。
そこで本研究では,マルチモーダル計画と構造化雑音初期化に基づく,T2V生成のためのトレーニング不要誘導手法であるVideo-MSGを紹介する。
Video-MSGは3つのステップから構成されており、最初の2ステップでVideo-MSGは、ビデオフレームのドラフト形式で、背景、前景、オブジェクトの軌跡を指定する、最終ビデオの詳細な時空間計画であるVideo Sketchを作成する。
最後のステップでは、Voice-MSGは、ノイズインバージョンとデノーミングを通じて、Voice Sketchで下流のT2V拡散モデルをガイドする。
特に、ビデオMSGは、推論時間中に追加メモリで微調整や注意操作をする必要がなく、大きなT2Vモデルを採用するのが容易である。
Video-MSGは、一般的なT2V生成ベンチマーク(T2VCompBenchとVBench)上で、複数のT2Vバックボーン(VideoCrafter2とCogVideoX-5B)とのテキストアライメントを強化する効果を示す。
ノイズインバージョン比、異なるバックグラウンドジェネレータ、バックグラウンドオブジェクト検出、フォアグラウンドオブジェクトセグメンテーションに関する総合的アブレーション研究を提供する。
関連論文リスト
- Step-Video-T2V Technical Report: The Practice, Challenges, and Future of Video Foundation Model [133.01510927611452]
我々は、30Bationalパラメータと最大204フレームの動画を生成する機能を備えた、テキストからビデオまでの事前トレーニングモデルであるStep-Video-T2Vを提案する。
Vari Autoencoder (Vari Autoencoder, Video-VAE) はビデオ生成タスク用に設計されており、16x16空間圧縮比と8x時間圧縮比を達成している。
Step-Video-T2Vのパフォーマンスは、新しいビデオ生成ベンチマークであるStep-Video-T2V-Evalで評価され、最先端のテキスト・ビデオの品質を示している。
論文 参考訳（メタデータ） (2025-02-14T15:58:10Z) - VideoTetris: Towards Compositional Text-to-Video Generation [45.395598467837374]
VideoTetrisは、合成T2V生成を可能にするフレームワークである。
我々は, VideoTetrisがT2V生成において, 印象的な質的, 定量的な結果をもたらすことを示す。
論文 参考訳（メタデータ） (2024-06-06T17:25:33Z) - Exploring Pre-trained Text-to-Video Diffusion Models for Referring Video Object Segmentation [72.90144343056227]
ビデオ理解タスクのためのテキスト・ツー・ビデオ拡散モデル(T2V)から生成した視覚的表現について検討する。
固定されたT2Vモデル上に構築された専用コンポーネントを備えた新しいフレームワーク「VD-IT」を紹介する。
我々のVD-ITは、既存の最先端手法を超越して、非常に競争力のある結果を得る。
論文 参考訳（メタデータ） (2024-03-18T17:59:58Z) - VideoElevator: Elevating Video Generation Quality with Versatile
Text-to-Image Diffusion Models [94.25084162939488]
テキスト間拡散モデル(T2V)は、フレーム品質とテキストアライメントがまだ遅れている。
我々は,T2Iの優れた機能を利用して,T2Vの性能を向上させる,トレーニングフリーでプラグアンドプレイの手法であるVideoElevatorを紹介した。
論文 参考訳（メタデータ） (2024-03-08T16:44:54Z) - Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning [50.60891619269651]
Control-A-Videoは制御可能なT2V拡散モデルであり、テキストプロンプトやエッジや奥行きマップのような参照制御マップに条件付のビデオを生成することができる。
本稿では,拡散に基づく生成プロセスに,コンテンツの事前と動作を組み込む新しい手法を提案する。
我々のフレームワークは、制御可能なテキスト・ツー・ビデオ生成における既存の最先端手法と比較して、高品質で一貫性のあるビデオを生成する。
論文 参考訳（メタデータ） (2023-05-23T09:03:19Z) - Tune-A-Video: One-Shot Tuning of Image Diffusion Models for
Text-to-Video Generation [31.882356164068753]
テキスト・トゥ・イメージ(T2I)生成の成功を再現するため、最近のテキスト・トゥ・ビデオ(T2V)生成では、T2V生成のためのデータセットに大量のデータセットが使用されている。
そこで本研究では,Tune-A-Videoが様々なアプリケーション上で時間的コヒーレントなビデオを生成することを提案する。
論文 参考訳（メタデータ） (2022-12-22T09:43:36Z) - Make-A-Video: Text-to-Video Generation without Text-Video Data [69.20996352229422]
Make-A-Videoは、テキスト・トゥ・イメージ(T2I)生成における最新の進歩をテキスト・トゥ・ビデオ(T2V)に変換するアプローチである。
我々は,新しい空間時空間モジュールを用いたT2Iモデル上に構築する,シンプルで効果的な手法を設計する。
空間的および時間的解像度、テキストへの忠実さ、品質など、あらゆる面で、Make-A-Videoは、テキスト・ビデオ生成における新しい最先端を定めている。
論文 参考訳（メタデータ） (2022-09-29T13:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。