論文の概要: BindWeave: Subject-Consistent Video Generation via Cross-Modal Integration

• arxiv url: http://arxiv.org/abs/2510.00438v1
• Date: Wed, 01 Oct 2025 02:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.337613
• Title: BindWeave: Subject-Consistent Video Generation via Cross-Modal Integration
• Title（参考訳）: BindWeave: クロスモーダル統合によるビデオ生成
• Authors: Zhaoyang Li, Dongjun Qian, Kai Su, Qishuai Diao, Xiangyang Xia, Chang Liu, Wenfei Yang, Tianzhu Zhang, Zehuan Yuan,
• Abstract要約: 本稿では,幅広いテーマ・ツー・ビデオシナリオを扱う統一フレームワークを提案する。 MLLM-DiTフレームワークは,事前訓練されたマルチモーダルな大規模言語モデルで,基底エンティティに対して深い相互モーダル推論を行う。 OpenS2Vベンチマークの実験により、本手法は、生成ビデオにおける主観的整合性、自然性、テキスト関連性において優れた性能を実現することを示した。
• 参考スコア（独自算出の注目度）: 56.98981194478512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformer has shown remarkable abilities in generating high-fidelity videos, delivering visually coherent frames and rich details over extended durations. However, existing video generation models still fall short in subject-consistent video generation due to an inherent difficulty in parsing prompts that specify complex spatial relationships, temporal logic, and interactions among multiple subjects. To address this issue, we propose BindWeave, a unified framework that handles a broad range of subject-to-video scenarios from single-subject cases to complex multi-subject scenes with heterogeneous entities. To bind complex prompt semantics to concrete visual subjects, we introduce an MLLM-DiT framework in which a pretrained multimodal large language model performs deep cross-modal reasoning to ground entities and disentangle roles, attributes, and interactions, yielding subject-aware hidden states that condition the diffusion transformer for high-fidelity subject-consistent video generation. Experiments on the OpenS2V benchmark demonstrate that our method achieves superior performance across subject consistency, naturalness, and text relevance in generated videos, outperforming existing open-source and commercial models.
• Abstract（参考訳）: Diffusion Transformerは、高忠実度ビデオを生成し、視覚的にコヒーレントなフレームと、長い期間にわたって豊富な詳細を提供する際、顕著な能力を示した。 しかし、複雑な空間関係、時間論理、複数の被験者間の相互作用を規定するパースプロンプトに固有の困難があるため、既存のビデオ生成モデルは、まだ主観一貫性のあるビデオ生成において不足している。 この問題に対処するために、単目的ケースから異種エンティティを持つ複雑な多目的シーンまで、幅広いテーマ・ツー・ビデオシナリオを扱う統合フレームワークであるBindWeaveを提案する。 複雑なプロンプト・セマンティクスを具体的視覚対象に結合するために,事前訓練された多モーダル大言語モデルが基底エンティティに対して深いクロスモーダル推論を行うMLLM-DiTフレームワークを導入し,高忠実度映像生成のための拡散変換器を条件とした主観認識型隠れ状態を生成する。 OpenS2Vベンチマーク実験により,提案手法は,生成したビデオの主観的一貫性,自然性,テキスト関連性において優れた性能を示し,既存のオープンソース・商用モデルよりも優れていた。

関連論文リスト

• LoViC: Efficient Long Video Generation with Context Compression [68.22069741704158]
  百万単位のオープンドメインビデオに基づいてトレーニングされたDiTベースのフレームワークであるLoViCを紹介する。 当社のアプローチの核心はFlexFormerです。ビデオとテキストを統合された潜在表現に共同で圧縮する表現型オートエンコーダです。
  論文  参考訳（メタデータ） (2025-07-17T09:46:43Z)
• PolyVivid: Vivid Multi-Subject Video Generation with Cross-Modal Interaction and Enhancement [26.89021788485701]
  PolyVividは、フレキシブルでアイデンティティ一貫性のある生成を可能にする、多目的ビデオカスタマイズフレームワークである。 実験では、PolyVividはアイデンティティの忠実さ、ビデオリアリズム、被写体アライメントにおいて優れたパフォーマンスを達成し、既存のオープンソースおよび商用ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-06-09T15:11:09Z)
• MAGREF: Masked Guidance for Any-Reference Video Generation [33.35245169242822]
  MAGREFは、任意の参照ビデオ生成のための統一されたフレームワークである。 本研究では,一つのモデルで様々な対象推定を柔軟に処理できる領域認識型動的マスキング機構を提案する。 我々のモデルは、単目的訓練から複雑な多目的シナリオまで、最先端のビデオ生成品質を提供する。
  論文  参考訳（メタデータ） (2025-05-29T17:58:15Z)
• VideoFusion: A Spatio-Temporal Collaborative Network for Multi-modal Video Fusion and Restoration [26.59510171451438]
  既存のマルチセンサー融合研究は、主にビデオではなく複数の画像からの補完を統合している。 VideoFusionは、時間的相補性と時間的ダイナミクスを利用して、文脈的時間的コヒーレントなビデオを生成する。 大規模な実験により、VideoFusionは、シーケンシャルなシナリオで既存の画像指向の融合パラダイムより優れていることが判明した。
  論文  参考訳（メタデータ） (2025-03-30T08:27:18Z)
• CINEMA: Coherent Multi-Subject Video Generation via MLLM-Based Guidance [34.345125922868]
  MLLM(Multimodal Large Language Model)を利用したコヒーレントなマルチオブジェクトビデオ生成フレームワークCINEMAを提案する。 提案手法では,対象画像とテキストエンティティとの明示的な対応の必要性を排除し,曖昧さを軽減し,アノテーションの労力を削減する。 当社のフレームワークはさまざまな主題に適応でき、パーソナライズされたコンテンツ作成の柔軟性が向上する。
  論文  参考訳（メタデータ） (2025-03-13T14:07:58Z)
• DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation [54.30327187663316]
  DiTCtrlは、MM-DiTアーキテクチャの下で初めてトレーニング不要なマルチプロンプトビデオ生成手法である。 MM-DiTの注意機構を解析し、3次元のフルアテンションがUNetのような拡散モデルにおけるクロス/セルフアテンションブロックと同様の振る舞いを示す。 我々の注意深い設計に基づいて、DiTCtrlによって生成されたビデオは、複数のシーケンシャルプロンプトが与えられた滑らかな遷移と一貫した物体の動きを達成する。
  論文  参考訳（メタデータ） (2024-12-24T18:51:19Z)
• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• Vivid-ZOO: Multi-View Video Generation with Diffusion Model [76.96449336578286]
  新しい課題は、大量のキャプション付きマルチビュービデオの欠如と、そのような多次元分布をモデル化する複雑さにある。 本稿では,テキストから動的3Dオブジェクトを中心に,高品質なマルチビュービデオを生成する拡散型パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-12T21:44:04Z)
• Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation [55.36617538438858]
  本研究では,空間的知覚と時間的知覚の相互作用を強化する新しいアプローチを提案する。 我々はHD-VG-130Mという大規模かつオープンソースのビデオデータセットをキュレートする。
  論文  参考訳（メタデータ） (2023-05-18T11:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。