論文の概要: Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
- arxiv url: http://arxiv.org/abs/2610.30926v2
- Date: Fri, 23 Oct 2026 11:09:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.234819
- Title: Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation
- Title（参考訳）: MLLMの潜伏を重要視する:映像生成のための因子認識型予測学習
- Abstract要約: 映像生成には、限られた入力からの時間的推測と、キャラクタ、シーン、アクション、カメラのファクター認識制御の両方が必要である。
本稿では,MLLM潜伏学習を有効活用するためのFAPL(Facter-Aware Predictive Learning)を提案する。
- 参考スコア（独自算出の注目度）: 34.70748337909946
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cinematic video generation requires both temporal inference from limited inputs (i.e., sparse rather than frame-by-frame guidance) and factor-aware control of character, scene, action, and camera. Multimodal large language models (MLLMs) offer useful priors for both capabilities, but their representations are not automatically actionable for video generation: a Video Diffusion Transformer (DiT) may bypass them through native conditioning pathways, and using them does not ensure either factor-aware control or generation-compatible temporal prediction. We propose Factor-Aware Predictive Learning (FAPL), which establishes effective MLLM latent use as a shared prerequisite and then targets the two capabilities with complementary learning signals. First, latent-only generator grounding trains the DiT with a frozen MLLM and connector, strengthening the DiT's use of MLLM latents for generation. Second, for factor-aware control, paired videos specify a target-factor change and non-target preservation, and factor-span replacement trains the DiT to realize this relationship in its output. Third, for temporal inference, text-only and text-plus-complete-video observations share a video target, and the trained DiT is then frozen while the MLLM and connector are optimized through it. This final stage trains limited-input representations for generation while retaining complete-observation reconstruction as a complementary training mode. Extensive experiments demonstrate our consistently better performance on three cinematic video generation tasks (i.e., sparse-to-video, factor-aware editing, and multi-shot generation) over baselines and validate FAPL's contributions to MLLM feature use, temporal control, and factor coordination.
- Abstract（参考訳）: 映像生成には、限られた入力(フレーム単位のガイダンスではなくスパース)からの時間的推論と、キャラクタ、シーン、アクション、カメラのファクター認識制御の両方が必要である。
ビデオ拡散変換器(DiT)は、それらをネイティブな条件付け経路をバイパスし、それらを使用することで、因子認識制御や世代互換の時間予測が保証されない。
本稿では,MLLM潜伏学習を有効活用するためのFAPL(Facter-Aware Predictive Learning)を提案する。
第一に、潜水のみの発電機は凍ったMLLMとコネクターでDiTを訓練し、世代別MLLM潜水器の使用を強化した。
第二に、因子認識制御では、ペア化されたビデオはターゲット要素の変更と非ターゲット保存を規定し、因子スパン置換は、その出力でこの関係を実現するためにDiTを訓練する。
第3に、時間的推測では、テキストのみおよびテキスト+完全ビデオ観察がビデオターゲットを共有し、訓練されたDiTは凍結され、MLLMとコネクタはそれを通して最適化される。
この最終段階は、補完的な訓練モードとして完全な観測復元を維持しながら、世代限定の出力表現を訓練する。
広汎な実験により,3つの撮影映像生成タスク(スパース・トゥ・ビデオ,ファクター・アウェア・編集,マルチショット・ジェネレーション)において,ベースラインを上回り,FAPLのMLLM機能利用,時間的制御,ファクタコーディネートへの貢献を検証した。
関連論文リスト
- Beyond Text Conditioning: A Systematic Study of MLLM-DiT Fusion for Video Generation [50.92925099642139]
拡散変換器(DiT)は高忠実度ビデオ生成において支配的なパラダイムとなっているが、ハイレベルなセマンティックプランニングを行う能力は依然として限られている。
MLLMが最初にセマンティック・ビジュアル・トークンを生成し、DiTが多層クロスアテンションを介してテキストとそれらのトークンに条件付きビデオを表示するハイブリッド・フレームワークであるBiVidGenを提案する。
論文 参考訳（メタデータ） (2026-08-14T07:40:41Z) - STORM: Internalized Modeling for Spatial-Temporal Reasoning in Video-Language Models [81.32710031596591]
ビデオ推論タスクには、動きの追跡、時間順、フレーム全体の視覚状態の進化が必要である。
視覚言語モデル(LVLM)上に構築された既存の手法はしばしば、チェーン・オブ・ソート(CoT)を通じて推論を外部化することでこの問題に対処する。
STORMSは,LVLMに明示的なテキストCoTではなく,有界な連続的な潜在軌道を推論する2段階のフレームワークである。
論文 参考訳（メタデータ） (2026-05-25T16:33:00Z) - Bifrost-1: Bridging Multimodal LLMs and Diffusion Models with Patch-level CLIP Latents [55.82787697101274]
Bifrost-1は、事前訓練されたマルチモーダルLLM(MLLM)と拡散モデルをブリッジする統合フレームワークである。
予め訓練したMLLMと拡散モデルとパッチレベルのCLIPラプタントをシームレスに統合することにより,高忠実度制御可能な画像生成を実現する。
実験の結果,Bifrost-1は視覚的忠実度やマルチモーダル理解の観点から,従来の手法と同等あるいは優れた性能を達成できた。
論文 参考訳（メタデータ） (2025-08-08T02:38:47Z) - TSPO: Temporal Sampling Policy Optimization for Long-form Video Language Understanding [25.675553077419274]
MLLM(Multimodal Language Models)は、視覚タスクにおいて大きな進歩を見せている。
本稿では、MLLMの長文ビデオ言語理解を強化学習により促進する時間サンプリングポリシー最適化(TSPO)を提案する。
我々のTSPOは、複数の長いビデオ理解ベンチマークにまたがって最先端のビデオMLLM間での転送能力を示す。
論文 参考訳（メタデータ） (2025-08-06T12:03:36Z) - Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency [56.475612147721264]
本稿では、離散的かつ連続的な報酬信号を通して意味的推論と時間的推論の両方を監督する二重回帰定式化を提案する。
我々は,ビデオQA,テンポラルビデオグラウンディング,グラウンドドビデオQAを含む8つの代表的なビデオ理解タスクに対するアプローチを評価した。
その結果、MLLMを用いた推論中心のビデオ理解の進展において、報酬設計とデータ選択の重要性が浮き彫りになった。
論文 参考訳（メタデータ） (2025-06-02T17:28:26Z) - VideoLights: Feature Refinement and Cross-Task Alignment Transformer for Joint Video Highlight Detection and Moment Retrieval [8.908777234657046]
大規模言語モデルと視覚言語モデル(LLM/LVLM)は、様々な領域で広く普及している。
ここでは、(i)Convolutional ProjectionとFeature Refinementモジュールを通してこれらの制限に対処する新しいHD/MRフレームワークであるVideoLightsを提案する。
QVHighlights、TVSum、Charades-STAベンチマークに関する総合的な実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-12-02T14:45:53Z) - TC-LLaVA: Rethinking the Transfer from Image to Video Understanding with Temporal Considerations [23.188508465235717]
本稿では,映像理解タスクにおけるモデルの能力を高めるための2つの戦略を提案する。
第1のアプローチは、回転位置埋め込み(RoPE)と時間認識デュアルRoPEの強化に焦点を当てる。
第二のアプローチは、フレームワイドのブロック因果マスクによる注意マスクの強化である。
論文 参考訳（メタデータ） (2024-09-05T02:54:17Z) - ST-LLM: Large Language Models Are Effective Temporal Learners [58.79456373423189]
大規模言語モデル(LLM)は、テキストの理解と生成において印象的な能力を示した。
ビデオベースの対話システムでビデオを効果的にエンコードし、理解する方法は、まだ解決されていない。
LLM内部の時空間シーケンスをモデル化したビデオLLMベースラインST-LLMを提案する。
論文 参考訳（メタデータ） (2024-03-30T10:11:26Z) - Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。
我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
論文 参考訳（メタデータ） (2021-06-17T02:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。