論文の概要: CtrlVDiff: Controllable Video Generation via Unified Multimodal Video Diffusion

• arxiv url: http://arxiv.org/abs/2511.21129v1
• Date: Wed, 26 Nov 2025 07:27:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:59.009805
• Title: CtrlVDiff: Controllable Video Generation via Unified Multimodal Video Diffusion
• Title（参考訳）: CtrlVDiff:Unified Multimodal Video Diffusionによる制御可能なビデオ生成
• Authors: Dianbing Xi, Jiepeng Wang, Yuanzhi Liang, Xi Qiu, Jialun Liu, Hao Pan, Yuchi Huo, Rui Wang, Haibin Huang, Chi Zhang, Xuelong Li,
• Abstract要約: 統合拡散フレームワークにおける映像理解と制御可能な映像生成という2つの課題に対処する。 CtrlVDiffは、Hybrid Modality Control Strategy(HMCS)で訓練された統合拡散モデルであり、深度、正規度、セグメンテーション、エッジ、グラフィックベースの内在性(アルベド、粗さ、金属)から特徴を導出し、融合する。 理解と生成のベンチマーク全体にわたって、CtrlVDiffは優れた制御性と忠実さを提供し、レイヤワイズな編集(リライティング、材料調整、オブジェクト挿入)と最先端のベースラインを越えながら、いくつかのモダリティが利用できない場合の堅牢性を維持している。
• 参考スコア（独自算出の注目度）: 62.04833878126661
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We tackle the dual challenges of video understanding and controllable video generation within a unified diffusion framework. Our key insights are two-fold: geometry-only cues (e.g., depth, edges) are insufficient: they specify layout but under-constrain appearance, materials, and illumination, limiting physically meaningful edits such as relighting or material swaps and often causing temporal drift. Enriching the model with additional graphics-based modalities (intrinsics and semantics) provides complementary constraints that both disambiguate understanding and enable precise, predictable control during generation. However, building a single model that uses many heterogeneous cues introduces two core difficulties. Architecturally, the model must accept any subset of modalities, remain robust to missing inputs, and inject control signals without sacrificing temporal consistency. Data-wise, training demands large-scale, temporally aligned supervision that ties real videos to per-pixel multimodal annotations. We then propose CtrlVDiff, a unified diffusion model trained with a Hybrid Modality Control Strategy (HMCS) that routes and fuses features from depth, normals, segmentation, edges, and graphics-based intrinsics (albedo, roughness, metallic), and re-renders videos from any chosen subset with strong temporal coherence. To enable this, we build MMVideo, a hybrid real-and-synthetic dataset aligned across modalities and captions. Across understanding and generation benchmarks, CtrlVDiff delivers superior controllability and fidelity, enabling layer-wise edits (relighting, material adjustment, object insertion) and surpassing state-of-the-art baselines while remaining robust when some modalities are unavailable.
• Abstract（参考訳）: 統合拡散フレームワークにおける映像理解と制御可能な映像生成という2つの課題に対処する。 私たちの重要な洞察は2つある: 幾何学のみの手がかり(例えば、深さ、縁)は不十分である: レイアウトを規定するが、制約下にある外観、材料、照明、リライトや素材スワップのような物理的に意味のある編集を制限し、しばしば時間的ドリフトを引き起こす。 追加のグラフィックスベースのモダリティ(内在性とセマンティクス)でモデルを強化することで、理解を曖昧にし、生成時に正確な予測可能な制御を可能にする補完的な制約を提供する。 しかし、多くの異質なキューを使用する単一モデルを構築することは、2つのコア困難をもたらす。 アーキテクチャ上、モデルは任意のモダリティのサブセットを受け入れ、入力の欠如に対して堅牢であり続け、時間的一貫性を犠牲にすることなく制御信号を注入しなければならない。 データに関して言えば、トレーニングは、実際のビデオとピクセルごとのマルチモーダルアノテーションを結びつける、大規模で時間的に整合した監督を必要とする。 CtrlVDiffはHybrid Modality Control Strategy(HMCS)で訓練された統合拡散モデルで、深度、正規度、セグメンテーション、エッジ、グラフィックベースの内在性(アルベド、粗さ、金属)から特徴をルートし、融合し、強い時間的コヒーレンスを持つ任意のサブセットからビデオを再レンダリングする。 これを実現するために、モダリティとキャプションにまたがるハイブリッドリアルタイム合成データセットMMVideoを構築した。 理解と生成のベンチマーク全体にわたって、CtrlVDiffは優れた制御性と忠実さを提供し、レイヤワイズな編集(リライティング、材料調整、オブジェクト挿入)と最先端のベースラインを越えながら、いくつかのモダリティが利用できない場合の堅牢性を維持している。

関連論文リスト

• MultiCOIN: Multi-Modal COntrollable Video INbetweening [46.37499813275259]
  マルチモーダル制御を実現するMultiCOINを紹介した。 DiTとマルチモーダルコントロールの互換性を確保するため、すべてのモーションコントロールを共通スパース表現にマッピングする。 また,モデルがマルチモーダル制御を円滑に学習できるように,段階的な学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-09T17:59:27Z)
• Ctrl-VI: Controllable Video Synthesis via Variational Inference [62.79016502243712]
  Ctrl-VIは、特定の要素に対して高い制御性を持つサンプルを生成するビデオ合成法である。 本手法は, 従来よりも制御性, 多様性, 3次元の整合性を向上したサンプルを生成する。
  論文  参考訳（メタデータ） (2025-10-09T01:48:16Z)
• BindWeave: Subject-Consistent Video Generation via Cross-Modal Integration [56.98981194478512]
  本稿では,幅広いテーマ・ツー・ビデオシナリオを扱う統一フレームワークを提案する。 MLLM-DiTフレームワークは,事前訓練されたマルチモーダルな大規模言語モデルで,基底エンティティに対して深い相互モーダル推論を行う。 OpenS2Vベンチマークの実験により、本手法は、生成ビデオにおける主観的整合性、自然性、テキスト関連性において優れた性能を実現することを示した。
  論文  参考訳（メタデータ） (2025-10-01T02:41:11Z)
• Temporal In-Context Fine-Tuning for Versatile Control of Video Diffusion Models [34.131515004434846]
  我々は,事前学習した映像拡散モデルを条件付き生成タスクに適用するための効率的なアプローチであるTIC-FT(Temporal In-Context Fine-Tuning)を導入する。 TIC-FTはアーキテクチャの変更を必要とせず、10-30のトレーニングサンプルで高いパフォーマンスを実現している。 我々は,CagVideoX-5B や Wan-14B といった大規模ベースモデルを用いて,映像映像生成や映像映像生成など,様々なタスクにまたがる手法を検証する。
  論文  参考訳（メタデータ） (2025-06-01T12:57:43Z)
• MAGREF: Masked Guidance for Any-Reference Video Generation with Subject Disentanglement [47.064467920954776]
  我々は、任意の参照ビデオ生成のための統一的で効果的なフレームワークであるMAGREFを紹介する。 提案手法は,マスキング誘導と主観的ゆがみ機構を取り入れたものである。 包括的なベンチマークの実験は、MAGREFが既存の最先端のアプローチを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-29T17:58:15Z)
• Enabling Versatile Controls for Video Diffusion Models [18.131652071161266]
  VCtrlは、事前訓練されたビデオ拡散モデルのきめ細かい制御を可能にするように設計された新しいフレームワークである。 総合的な実験と人的評価により、VCtrlは制御性と生成品質を効果的に向上させる。
  論文  参考訳（メタデータ） (2025-03-21T09:48:00Z)
• VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval [8.908777234657046]
  大規模言語モデルと視覚言語モデル(LLM/LVLM)は、様々な領域で広く普及している。 ここでは、(i)Convolutional ProjectionとFeature Refinementモジュールを通してこれらの制限に対処する新しいHD/MRフレームワークであるVideoLightsを提案する。 QVHighlights、TVSum、Charades-STAベンチマークに関する総合的な実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-12-02T14:45:53Z)
• Video Set Distillation: Information Diversification and Temporal Densification [68.85010825225528]
  Video textbfsetsは2次元の冗長性を持つ: サンプル内およびサンプル間冗長性。 我々は,まず,サンプル内およびサンプル間冗長性に対処して,最適化された映像データを合成するビデオセット蒸留について検討する。
  論文  参考訳（メタデータ） (2024-11-28T05:37:54Z)
• Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution [65.91317390645163]
  Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。 ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。 また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
  論文  参考訳（メタデータ） (2023-12-11T18:54:52Z)
• Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation [55.36617538438858]
  本研究では,空間的知覚と時間的知覚の相互作用を強化する新しいアプローチを提案する。 我々はHD-VG-130Mという大規模かつオープンソースのビデオデータセットをキュレートする。
  論文  参考訳（メタデータ） (2023-05-18T11:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。