論文の概要: FullDiT: Multi-Task Video Generative Foundation Model with Full Attention

• arxiv url: http://arxiv.org/abs/2503.19907v1
• Date: Tue, 25 Mar 2025 17:59:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:54:58.309574
• Title: FullDiT: Multi-Task Video Generative Foundation Model with Full Attention
• Title（参考訳）: FullDiT: フルアテンション付きマルチタスクビデオ生成ファウンデーションモデル
• Authors: Xuan Ju, Weicai Ye, Quande Liu, Qiulin Wang, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Qiang Xu,
• Abstract要約: FullDiTはビデオ生成のための統一基盤モデルであり、統合されたフルアテンション機構によって複数の条件をシームレスに統合する。 実験により、FullDiTは最先端の結果を達成し、複雑なマルチタスクビデオ生成におけるフルアテンションの有効性を強調した。
• 参考スコア（独自算出の注目度）: 37.776430879317765
• License:
• Abstract: Current video generative foundation models primarily focus on text-to-video tasks, providing limited control for fine-grained video content creation. Although adapter-based approaches (e.g., ControlNet) enable additional controls with minimal fine-tuning, they encounter challenges when integrating multiple conditions, including: branch conflicts between independently trained adapters, parameter redundancy leading to increased computational cost, and suboptimal performance compared to full fine-tuning. To address these challenges, we introduce FullDiT, a unified foundation model for video generation that seamlessly integrates multiple conditions via unified full-attention mechanisms. By fusing multi-task conditions into a unified sequence representation and leveraging the long-context learning ability of full self-attention to capture condition dynamics, FullDiT reduces parameter overhead, avoids conditions conflict, and shows scalability and emergent ability. We further introduce FullBench for multi-task video generation evaluation. Experiments demonstrate that FullDiT achieves state-of-the-art results, highlighting the efficacy of full-attention in complex multi-task video generation.
• Abstract（参考訳）: 現在のビデオ生成基盤モデルは、主にテキストからビデオへのタスクに焦点を当てており、きめ細かいビデオコンテンツの作成を限定的に制御できる。 アダプタベースのアプローチ(例えば、ControlNet)は、最小限の微調整で追加の制御を可能にするが、独立的に訓練されたアダプタ間の分岐競合、計算コストの増大につながるパラメータ冗長性、完全な微調整と比較して最適以下のパフォーマンスなど、複数の条件を統合する際の課題に直面する。 これらの課題に対処するため、ビデオ生成のための統合基盤モデルであるFullDiTを導入し、統合されたフルアテンション機構により複数の条件をシームレスに統合する。 マルチタスク条件を統一シーケンス表現に融合させ、フルアテンションの長文学習能力を利用して条件ダイナミクスをキャプチャすることで、FullDiTはパラメータオーバーヘッドを減らし、条件の衝突を回避し、スケーラビリティと創発性を示す。 マルチタスクビデオ生成評価のためのFullBenchについても紹介する。 実験により、FullDiTは最先端の結果を達成し、複雑なマルチタスクビデオ生成におけるフルアテンションの有効性を強調した。

関連論文リスト

• DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation [54.30327187663316]
  DiTCtrlは、MM-DiTアーキテクチャの下で初めてトレーニング不要なマルチプロンプトビデオ生成手法である。 MM-DiTの注意機構を解析し、3次元のフルアテンションがUNetのような拡散モデルにおけるクロス/セルフアテンションブロックと同様の振る舞いを示す。 我々の注意深い設計に基づいて、DiTCtrlによって生成されたビデオは、複数のシーケンシャルプロンプトが与えられた滑らかな遷移と一貫した物体の動きを達成する。
  論文  参考訳（メタデータ） (2024-12-24T18:51:19Z)
• DiVE: DiT-based Video Generation with Enhanced Control [23.63288169762629]
  時間的・多視点的な一貫したビデオを生成するために特別に設計された第1のDiTベースのフレームワークを提案する。 具体的には、パラメータフリーな空間ビューインフレードアテンション機構を利用して、クロスビューの一貫性を保証する。
  論文  参考訳（メタデータ） (2024-09-03T04:29:59Z)
• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• OmniControlNet: Dual-stage Integration for Conditional Image Generation [61.1432268643639]
  我々は、外部条件生成アルゴリズムを1つの高密度予測法に統合することにより、広く採用されているコントロールネットの双方向統合を提供する。 提案したOmniControlNetは,1)タスク埋め込み指導下での1つのマルチタスク高密度予測アルゴリズムによる条件生成と,2)テキスト埋め込み指導下での異なる条件付き画像生成プロセスを統合した。
  論文  参考訳（メタデータ） (2024-06-09T18:03:47Z)
• Towards Multimodal Video Paragraph Captioning Models Robust to Missing Modality [26.55645677311152]
  ビデオキャプション(VPC)は、長いビデオのための詳細な物語を生成する。 既存のモデルは、1つの補助モダリティの一定の可用性の仮定によって制約される。 本稿では, 利用可能な全ての補助入力を有効活用し, 一定のモダリティがなくてもレジリエンスを維持する, ミス・抵抗性フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-28T08:35:46Z)
• CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
  CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。 本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。 ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
  論文  参考訳（メタデータ） (2024-02-08T18:27:22Z)
• MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form Video Question Answering [73.61182342844639]
  我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。 MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。 異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
  論文  参考訳（メタデータ） (2022-12-19T15:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。