論文の概要: Lumos-Nexus: Efficient Frequency Bridging with Homogeneous Latent Space for Video Unified Models
- arxiv url: http://arxiv.org/abs/2605.31603v1
- Date: Fri, 29 May 2026 17:59:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.790902
- Title: Lumos-Nexus: Efficient Frequency Bridging with Homogeneous Latent Space for Video Unified Models
- Title（参考訳）: Lumos-Nexus:ビデオ統一モデルのための均一遅延空間を用いた効率的な周波数ブリッジ
- Abstract要約: Lumos-Nexusはトレーニング効率の良い統合ビデオ生成フレームワークである。
推論品質を損なうことなく、高忠実度動画を制作する。
VR-Benchは、推論意図を一貫性とセマンティックに整合したビデオコンテンツに変換するモデルの能力をテストする。
- 参考スコア（独自算出の注目度）: 42.32440531704315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Connector-based video unified models have demonstrated strong capability in instruction-grounded video synthesis, but integrating a large high-fidelity generator into the unified training loop is computationally prohibitive, limiting achievable visual quality. We therefore propose Lumos-Nexus, a training-efficient unified video generation framework that facilitates the development of strong reasoning-driven generation capabilities while significantly enhancing visual fidelity. Lumos-Nexus adopts a two-stage design: 1) During training, only a lightweight generator is aligned with the understanding block to learn to take in reasoning-driven semantic control. 2) During inference, we introduce Unified Progressive Frequency Bridging (UPFB) to progressively hand off generation to a high-capacity pretrained generator in the shared latent space, enabling coarse-to-fine refinement and producing high-fidelity videos without compromising reasoning quality. To fill the gap in reasoning-driven video generation benchmarks, we introduce VR-Bench, which assesses a model's capability to translate inferred intent into coherent and semantically aligned video content. Extensive experiments demonstrate that Lumos-Nexus achieves substantial gains in visual realism and temporal coherence on VBench, while exhibiting strong reasoning-based generative performance on VR-Bench. Code and models are available at https://jiazheng-xing.github.io/nexus-lumos-home/.
- Abstract（参考訳）: コネクタベースのビデオ統合モデルは、命令基底ビデオ合成において強力な能力を示しているが、大きな高忠実度ジェネレータを統一トレーニングループに統合することは、計算的に禁止され、達成可能な視覚的品質が制限される。
そこで我々は,視覚的忠実度を大幅に向上しつつ,強力な推論駆動型生成機能の開発を容易にする訓練効率の高い統合ビデオ生成フレームワークであるLumos-Nexusを提案する。
Lumos-Nexusは2段階デザインを採用しています。
1) 学習中は, 推論型セマンティックコントロールを学習するために, 軽量なジェネレータのみを理解ブロックに整列させる。
2) 推論中, UPFB(Unified Progressive Frequency Bridging)を導入し, 高容量事前学習生成器を共有潜在空間に段階的に供給し, 粗大な精細化を実現し, 推論品質を損なうことなく高精細ビデオを生成する。
推論駆動型ビデオ生成ベンチマークのギャップを埋めるために、推論された意図を一貫性のあるセマンティックに整合したビデオコンテンツに変換するモデルの能力を評価するVR-Benchを導入する。
VBench上での視覚的リアリズムと時間的コヒーレンスにおいて,Lumos-Nexusが著しく向上し,VR-Bench上での推論に基づく生成性能が向上することを示した。
コードとモデルはhttps://jiazheng-xing.github.io/nexus-lumos-home/で公開されている。
関連論文リスト
- CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition [64.38611644311136]
我々は、制御可能なビデオ生成を創造的な意図認識と生成に分解する推論駆動フレームワークであるCag OmniControlを紹介する。
具体的には,アニメ制作データを用いて,特殊なCagVLMを訓練する。
一般的なVLMと比較すると、よりプロ的で明確な出力を生成し、スパースや抽象的な条件からユーザの創造的意図を正確に認識する。
論文 参考訳（メタデータ） (2026-05-19T15:29:33Z) - RealCam: Real-Time Novel-View Video Generation with Interactive Camera Control [30.825728569025525]
リアルタイムカメラ制御ビデオ・ツー・ビデオ(V2V)生成はインタラクティブな映画製作やライブ放送において大きな可能性を秘めている。
既存の暗黙合成法は、非因果的、フルシーケンス処理と厳密なプレフィックススタイルの時間的結合に依存している。
我々は、インタラクティブでリアルタイムなカメラ制御V2V生成のための新しい自動回帰フレームワーク、texttRealCamを紹介した。
論文 参考訳（メタデータ） (2026-05-07T11:36:29Z) - OmniWeaving: Towards Unified Video Generation with Free-form Composition and Reasoning [81.93748829204145]
オムニウィービング(OmniWeaving)は、強力なマルチモーダル合成と推論インフォームド機能を備えたオムニレベルのビデオ生成モデルである。
我々はIntelligentVBenchを紹介した。IntelligentVBenchは、次世代のインテリジェントな統合ビデオ生成を厳格に評価するために設計された、最初の包括的なベンチマークである。
実験により、OmniWeavingはオープンソース統一モデル間でSoTAのパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2026-03-25T16:08:18Z) - SemanticGen: Video Generation in Semantic Space [60.49729308406981]
最先端のビデオ生成モデルは、通常、VAE空間内のビデオ潜像の分布を学習し、VAEデコーダを使用してピクセルにマッピングする。
我々はセマンティックGenを紹介した。セマンティックGenはセマンティックな空間でビデオを生成する新しいソリューションだ。
提案手法は,長大なビデオ生成に拡張した場合にも有効であり,計算的にも効率的である。
論文 参考訳（メタデータ） (2025-12-23T18:59:56Z) - What Happens Next? Next Scene Prediction with a Unified Video Model [12.124208260923062]
我々は、統合ビデオモデルを時間的・因果的推論に向ける新しいタスクであるNext Scene Prediction (NSP)を導入する。
本稿では,Qwen-VLとLTXを組み合わせた統合フレームワークを提案する。
我々のモデルは我々のベンチマークで最先端のパフォーマンスを達成し、次に何が起こるかを予測する汎用マルチモーダルシステムの能力を向上させる。
論文 参考訳（メタデータ） (2025-12-15T06:22:57Z) - Inferix: A Block-Diffusion based Next-Generation Inference Engine for World Simulation [41.993197533574126]
Inferixは、最適化された半自己回帰復号プロセスを通じて没入型世界合成を可能にする推論エンジンである。
Inferixはさらに、インタラクティブなビデオストリーミングとプロファイリングによる提供を強化し、リアルタイムのインタラクションと現実的なシミュレーションを可能にしている。
論文 参考訳（メタデータ） (2025-11-25T01:45:04Z) - SkyReels-V2: Infinite-length Film Generative Model [35.00453687783287]
Infinite-length Film Generative Model である SkyReels-V2 を提案し,マルチモーダル大言語モデル(MLLM),マルチステージ事前学習,強化学習,拡散強制フレームワークを提案する。
我々は,基本映像生成のためのプログレッシブ・レゾリューション・プレトレーニングを確立し,その後4段階のポストトレーニング強化を行った。
論文 参考訳（メタデータ） (2025-04-17T16:37:27Z) - Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World
Video Super-Resolution [65.91317390645163]
Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。
ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。
また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
論文 参考訳（メタデータ） (2023-12-11T18:54:52Z) - Towards Smooth Video Composition [59.134911550142455]
ビデオ生成には、時間とともに動的コンテンツを伴う一貫した永続的なフレームが必要である。
本研究は, 生成的対向ネットワーク(GAN)を用いて, 任意の長さの映像を構成するための時間的関係を, 数フレームから無限までモデル化するものである。
単体画像生成のためのエイリアスフリー操作は、適切に学習された知識とともに、フレーム単位の品質を損なうことなく、スムーズなフレーム遷移をもたらすことを示す。
論文 参考訳（メタデータ） (2022-12-14T18:54:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。