論文の概要: Beyond Text Conditioning: A Systematic Study of MLLM-DiT Fusion for Video Generation

• arxiv url: http://arxiv.org/abs/2608.14043v1
• Date: Fri, 14 Aug 2026 07:40:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.308647
• Title: Beyond Text Conditioning: A Systematic Study of MLLM-DiT Fusion for Video Generation
• Title（参考訳）: テキストコンディショニングを超えて:ビデオ生成のためのMLLM-DiT融合の体系的研究
• Abstract要約: 拡散変換器(DiT)は高忠実度ビデオ生成において支配的なパラダイムとなっているが、ハイレベルなセマンティックプランニングを行う能力は依然として限られている。 MLLMが最初にセマンティック・ビジュアル・トークンを生成し、DiTが多層クロスアテンションを介してテキストとそれらのトークンに条件付きビデオを表示するハイブリッド・フレームワークであるBiVidGenを提案する。
• 参考スコア（独自算出の注目度）: 50.92925099642139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformers (DiTs) have become the dominant paradigm for high-fidelity video generation, yet their ability to perform high-level semantic planning remains limited. While hybrid architectures integrating MLLMs with diffusion backbones have shown strong advantages in image synthesis, such designs remain underexplored in video generation, where existing approaches often treat MLLMs primarily as frozen feature encoders rather than semantic generators. To fill this gap, we systematically study how an MLLM should be integrated with a DiT for video generation by answering three questions: what intermediate representation should bridge the MLLM and DiT, how the MLLM should generate it, and how the DiT should incorporate it during diffusion rendering. Our analysis reveals three key findings: (1) discrete semantic visual tokens produced by an EMA-based tokenizer provide a stable and expressive interface, (2) autoregressive causal modeling is effective for generating these tokens, and (3) explicit visual-token conditioning is more effective than prompt refinement or latent bridging. Based on these findings, we propose BiVidGen, a hybrid framework where an MLLM first generates semantic visual tokens and a DiT renders videos conditioned on both text and these tokens via multi-layer cross-attention. Extensive experiments show that BiVidGen improves semantic alignment and temporal coherence over a fine-tuned DiT baseline, achieving stronger performance on VBench-Long. These results demonstrate that explicit MLLM-based visual planning provides an effective intermediate interface for text-to-video generation beyond text-only conditioning.
• Abstract（参考訳）: 拡散変換器(DiT)は高忠実度ビデオ生成において支配的なパラダイムとなっているが、ハイレベルなセマンティックプランニングを行う能力は依然として限られている。 MLLMと拡散バックボーンを統合するハイブリッドアーキテクチャは画像合成において大きな優位性を示しているが、これらの設計はビデオ生成において未探索のままであり、既存の手法では、MLLMはセマンティックジェネレータではなく、主にフリーズ機能エンコーダとして扱われることが多い。 このギャップを埋めるために,MLLM がビデオ生成のために DiT とどのように統合されるべきなのかを,中間表現が MLLM と DiT を橋渡しすべきか,MLLM がどうやって生成すべきか,拡散レンダリング中に DiT を組み込むべきか,という3つの質問に答えて体系的に検討する。 分析の結果,(1)EMAベースのトークン化装置が生成する個別な意味的視覚トークンは安定かつ表現力のあるインタフェースを提供し,(2)自己回帰因果モデリングはこれらのトークンの生成に有効であり,(3)明示的な視覚的条件付けは即時改善や遅延ブリッジングよりも効果的であることがわかった。 これらの知見に基づいて,MLLMが最初に意味的視覚トークンを生成するハイブリッドフレームワークであるBiVidGenを提案する。 広汎な実験により、BiVidGenは細調整されたDiTベースライン上でのセマンティックアライメントと時間的コヒーレンスを改善し、VBench-Long上でより優れたパフォーマンスを実現する。 これらの結果は、明示的なMLLMベースのビジュアルプランニングが、テキストのみの条件付けを超えて、テキスト・ビデオ生成に有効な中間インターフェースを提供することを示している。

関連論文リスト

• Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment [20.811984469709508]
  Auraは、高忠実でアイデンティティに一貫性のあるビデオ生成のための統一されたフレームワークである。 本稿では,映像コンテンツの密度と構造を記述したAIディレクターレベルのキャプションを紹介する。 専用データ構築パイプラインを通じて高品質なビデオオブジェクト画像データセットを構築する。
  論文  参考訳（メタデータ） (2026-07-05T13:54:33Z)
• Bernini: Latent Semantic Planning for Video Diffusion [28.951773363020077]
  本稿では,映像生成と編集のための統合フレームワークBerniniを提案する。 MLLMベースのプランナは、ViT埋め込み空間内でターゲットセマンティック表現を直接予測する。 Berniniは、幅広いビデオ生成と編集ベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-05-21T11:30:29Z)
• Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation [66.53544128707817]
  Cheersは、パッチレベルの詳細をセマンティック表現から切り離す、統一されたマルチモーダルモデルである。 チェアは視覚的理解と生成の両方において、高度なUMMと一致または超えます。
  論文  参考訳（メタデータ） (2026-03-13T08:55:27Z)
• DMESR: Dual-view MLLM-based Enhancing Framework for Multimodal Sequential Recommendation [13.114773060703891]
  マルチモーダルシーケンスレコメンデーション(DMESR)のためのデュアルビューMLLMベースのエンハンシングフレームワークを提案する。 ここでは,MLLM が生成する言語間の意味表現の整合に,コントラスト学習機構を用いる。 細粒度セマンティクスを欠くために,MLLMから得られた粗粒度セマンティクスと細粒度テキストセマンティクスを統合したクロスアテンション融合モジュールを導入する。
  論文  参考訳（メタデータ） (2026-02-14T10:42:56Z)
• FiCoTS: Fine-to-Coarse LLM-Enhanced Hierarchical Cross-Modality Interaction for Time Series Forecasting [13.70466880923202]
  時系列予測は、データ分析とWeb技術の中心である。 LLM(Large Language Models)はこの分野で大きな可能性を秘めている。 マルチモーダル時系列予測のためのLLM強化ファイン・ツー・コア・フレームワークであるFiCoTSを提案する。
  論文  参考訳（メタデータ） (2025-11-29T03:17:26Z)
• Growing Visual Generative Capacity for Pre-Trained MLLMs [60.826355079902505]
  Bridgeは純粋な自己回帰統合MLLMであり、学習済みの視覚的理解モデルを生成能力で強化する。 本稿では,コンパクトなセマンティックトークンと微細なピクセルトークンを統合するセマンティック・ツー・ピクセルの離散表現を提案する。
  論文  参考訳（メタデータ） (2025-10-02T00:40:02Z)
• Dynamic Embedding of Hierarchical Visual Features for Efficient Vision-Language Fine-Tuning [5.85033069870214]
  動的埋め込みと階層型視覚特徴の融合に基づく効率的な視覚言語微調整法を提案する。 少数のパラメータのみを微調整することで、DEHVFはクロスモーダル情報の正確なアライメントと補完を実現する。
  論文  参考訳（メタデータ） (2025-08-25T03:57:46Z)
• MLLM-Guided VLM Fine-Tuning with Joint Inference for Zero-Shot Composed Image Retrieval [50.062817677022586]
  Zero-Shot Image Retrieval (ZS-CIR) メソッドは通常、参照イメージを擬似テキストトークンに変換するアダプタを訓練する。 MLLM-Guided VLM Fine-Tuning with Joint Inference (MVFT-JI) を提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:56:59Z)
• Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and the Empirical Findings [66.04061083611863]
  既存のMultimoal Large Language Models (MLLM) における視覚トークンの過剰使用は、しばしば明らかな冗長性を示し、非常に高価な計算をもたらす。 DyVTE(Dynamic visual-token exit)と呼ばれるMLLMの効率を改善するための簡易かつ効果的な手法を提案する。 DyVTEは軽量なハイパーネットワークを使用して、テキストトークンの状態を認識し、特定のレイヤの後にすべてのビジュアルトークンを削除する。
  論文  参考訳（メタデータ） (2024-11-29T11:24:23Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。