論文の概要: DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation

• arxiv url: http://arxiv.org/abs/2412.18597v1
• Date: Tue, 24 Dec 2024 18:51:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:56.578551
• Title: DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation
• Title（参考訳）: DiTCtrl: チューニング不要なマルチプロンプト長大映像生成のための多モード拡散変圧器における注意制御の探索
• Authors: Minghong Cai, Xiaodong Cun, Xiaoyu Li, Wenze Liu, Zhaoyang Zhang, Yong Zhang, Ying Shan, Xiangyu Yue,
• Abstract要約: DiTCtrlは、MM-DiTアーキテクチャの下で初めてトレーニング不要なマルチプロンプトビデオ生成手法である。 MM-DiTの注意機構を解析し、3次元のフルアテンションがUNetのような拡散モデルにおけるクロス/セルフアテンションブロックと同様の振る舞いを示す。 我々の注意深い設計に基づいて、DiTCtrlによって生成されたビデオは、複数のシーケンシャルプロンプトが与えられた滑らかな遷移と一貫した物体の動きを達成する。
• 参考スコア（独自算出の注目度）: 54.30327187663316
• License:
• Abstract: Sora-like video generation models have achieved remarkable progress with a Multi-Modal Diffusion Transformer MM-DiT architecture. However, the current video generation models predominantly focus on single-prompt, struggling to generate coherent scenes with multiple sequential prompts that better reflect real-world dynamic scenarios. While some pioneering works have explored multi-prompt video generation, they face significant challenges including strict training data requirements, weak prompt following, and unnatural transitions. To address these problems, we propose DiTCtrl, a training-free multi-prompt video generation method under MM-DiT architectures for the first time. Our key idea is to take the multi-prompt video generation task as temporal video editing with smooth transitions. To achieve this goal, we first analyze MM-DiT's attention mechanism, finding that the 3D full attention behaves similarly to that of the cross/self-attention blocks in the UNet-like diffusion models, enabling mask-guided precise semantic control across different prompts with attention sharing for multi-prompt video generation. Based on our careful design, the video generated by DiTCtrl achieves smooth transitions and consistent object motion given multiple sequential prompts without additional training. Besides, we also present MPVBench, a new benchmark specially designed for multi-prompt video generation to evaluate the performance of multi-prompt generation. Extensive experiments demonstrate that our method achieves state-of-the-art performance without additional training.
• Abstract（参考訳）: ソラライクなビデオ生成モデルはマルチモード拡散変換器MM-DiTアーキテクチャで顕著な進歩を遂げた。 しかし、現在のビデオ生成モデルは、主に単一プロンプトに焦点を当てており、現実の動的シナリオをよりよく反映する複数のシーケンシャルなプロンプトを持つ一貫性のあるシーンを生成するのに苦労している。 先駆的な作品の中には、マルチプロンプトビデオ生成を探求するものもあるが、厳格なトレーニングデータ要求、弱いプロンプトフォロー、不自然な遷移など、重大な課題に直面しているものもある。 このような問題に対処するために,MM-DiTアーキテクチャ下でのトレーニング不要なマルチプロンプトビデオ生成手法であるDiTCtrlを提案する。 私たちのキーとなるアイデアは、マルチプロンプトビデオ生成タスクを、スムーズな遷移を伴う時間的ビデオ編集として捉えることです。 この目的を達成するために、まずMM-DiTの注意機構を解析し、3DフルアテンションはUNetのような拡散モデルにおけるクロス/セルフアテンションブロックと同様の振る舞いを示し、マルチプロンプトビデオ生成のためのアテンション共有を伴う異なるプロンプト間のマスク誘導的セマンティック制御を可能にする。 我々の注意深い設計に基づいて、DiTCtrlによって生成されたビデオは、追加のトレーニングなしで複数のシーケンシャルプロンプトを与えられた滑らかな遷移と一貫した物体の動きを達成する。 また,マルチプロンプト生成の性能を評価するために,マルチプロンプトビデオ生成用に特別に設計された新しいベンチマークMPVBenchを提案する。 大規模な実験により,本手法は付加的な訓練を伴わずに最先端の性能を達成できることが実証された。

関連論文リスト

• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• Vivid-ZOO: Multi-View Video Generation with Diffusion Model [76.96449336578286]
  新しい課題は、大量のキャプション付きマルチビュービデオの欠如と、そのような多次元分布をモデル化する複雑さにある。 本稿では,テキストから動的3Dオブジェクトを中心に,高品質なマルチビュービデオを生成する拡散型パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-12T21:44:04Z)
• MAVIN: Multi-Action Video Generation with Diffusion Models via Transition Video Infilling [19.004339956475498]
  MAVINは、2つの動画をシームレスに接続し、結合的な統合シーケンスを形成するトランジションビデオを生成するように設計されている。 従来の品質基準を補完し,時間的コヒーレンスと滑らかさを評価するための新しい指標CLIP-RS(CLIP Relative Smoothness)を導入する。 馬とトラのシナリオに関する実験結果は、滑らかでコヒーレントなビデオ遷移を生成するMAVINの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-28T09:46:09Z)
• CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
  CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。 本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。 ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
  論文  参考訳（メタデータ） (2024-02-08T18:27:22Z)
• MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form Video Question Answering [73.61182342844639]
  我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。 MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。 異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
  論文  参考訳（メタデータ） (2022-12-19T15:05:40Z)
• Hierarchical Multimodal Transformer to Summarize Videos [103.47766795086206]
  変換器の大成功とビデオの自然な構造(フレームショットビデオ)に触発された階層変換器は,映像要約のために開発された。 2種類の情報を統合するために、2ストリーム方式で符号化し、階層変換器に基づいて多モード融合機構を開発する。 実際、広範な実験により、HMTは従来のRNNベースおよび注意に基づくビデオ要約手法のほとんどを超越していることが示された。
  論文  参考訳（メタデータ） (2021-09-22T07:38:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。