論文の概要: LongVie: Multimodal-Guided Controllable Ultra-Long Video Generation

• arxiv url: http://arxiv.org/abs/2508.03694v1
• Date: Tue, 05 Aug 2025 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:56.118814
• Title: LongVie: Multimodal-Guided Controllable Ultra-Long Video Generation
• Title（参考訳）: LongVie:マルチモーダル誘導制御可能なウルトラロング・ビデオ・ジェネレーション
• Authors: Jianxiong Gao, Zhaoxi Chen, Xian Liu, Jianfeng Feng, Chenyang Si, Yanwei Fu, Yu Qiao, Ziwei Liu,
• Abstract要約: LongVieは、制御可能なロングビデオ生成のためのエンドツーエンドの自動回帰フレームワークである。 LongVieは、長距離制御性、一貫性、品質において最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 90.02820796070135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controllable ultra-long video generation is a fundamental yet challenging task. Although existing methods are effective for short clips, they struggle to scale due to issues such as temporal inconsistency and visual degradation. In this paper, we initially investigate and identify three key factors: separate noise initialization, independent control signal normalization, and the limitations of single-modality guidance. To address these issues, we propose LongVie, an end-to-end autoregressive framework for controllable long video generation. LongVie introduces two core designs to ensure temporal consistency: 1) a unified noise initialization strategy that maintains consistent generation across clips, and 2) global control signal normalization that enforces alignment in the control space throughout the entire video. To mitigate visual degradation, LongVie employs 3) a multi-modal control framework that integrates both dense (e.g., depth maps) and sparse (e.g., keypoints) control signals, complemented by 4) a degradation-aware training strategy that adaptively balances modality contributions over time to preserve visual quality. We also introduce LongVGenBench, a comprehensive benchmark consisting of 100 high-resolution videos spanning diverse real-world and synthetic environments, each lasting over one minute. Extensive experiments show that LongVie achieves state-of-the-art performance in long-range controllability, consistency, and quality.
• Abstract（参考訳）: 制御可能な超長ビデオ生成は、基本的だが難しい課題である。 既存の手法は短いクリップには有効であるが、時間的不整合や視覚的劣化などの問題によりスケールに苦慮している。 本稿ではまず,ノイズ初期化,独立制御信号正規化,単一モーダリティ誘導の限界という3つの要因について検討・同定する。 これらの問題に対処するために,LongVieを提案する。 LongVieは2つのコア設計を導入し、時間的一貫性を確保している。 1)クリップ間の一貫した生成を維持する統一ノイズ初期化戦略 2) ビデオ全体を通して制御空間のアライメントを強制するグローバル制御信号正規化。 視覚の劣化を軽減するためにLongVieが採用 3)密集(eg,深度マップ)とスパース(eg,キーポイント)の両方を補完するマルチモーダル制御フレームワーク。 4) 視覚的品質を維持するため, 時間とともにモダリティ貢献を適応的にバランスさせる, 劣化を意識したトレーニング戦略。 また、LongVGenBenchという、さまざまな現実世界と合成環境にまたがる100の高解像度ビデオからなる総合的なベンチマークも導入しました。 大規模な実験により、LongVieは長距離制御性、一貫性、品質で最先端のパフォーマンスを実現している。

関連論文リスト

• FreeLong++: Training-Free Long Video Generation via Multi-band SpectralFusion [24.48220892418698]
  FreeLongは、Denoisingプロセス中の長いビデオ機能の頻度分布のバランスをとるために設計された、トレーニング不要のフレームワークである。 FreeLongは、全ビデオの全体的意味をキャプチャするグローバルな低周波特徴と、短い時間窓から抽出された局所的な高周波特徴をブレンドすることで、これを実現している。 FreeLong++はFreeLongを複数の注意枝を持つマルチブランチアーキテクチャに拡張し、それぞれが異なる時間スケールで動作する。
  論文  参考訳（メタデータ） (2025-06-30T18:11:21Z)
• DiVE: Efficient Multi-View Driving Scenes Generation Based on Video Diffusion Transformer [56.98400572837792]
  DiVEは高忠実で、時間的コヒーレントで、相互に一貫したマルチビュービデオを生成する。 これらの革新は総じて、最小品質の劣化を伴う2.62倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-04-28T09:20:50Z)
• Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling [81.37449968164692]
  ビデオ全体にわたってデノイングパスを同期する新しい推論フレームワークであるシンクロナイズド結合サンプリング(SynCoS)を提案する。 提案手法は, シームレスな局所遷移を保証し, グローバルコヒーレンスを強制する2つの相補的なサンプリング戦略を組み合わせる。 大規模な実験により、SynCoSは、よりスムーズな遷移とより優れた長距離コヒーレンスを実現し、マルチイベント長ビデオ生成を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-03-11T16:43:45Z)
• Tuning-Free Long Video Generation via Global-Local Collaborative Diffusion [22.988212617368095]
  本稿では,長時間ビデオ生成のためのチューニング不要なGLC-Diffusionを提案する。 Global-Local Collaborative Denoisingを確立することで、長いビデオDenoisingプロセスをモデル化する。 また,ビデオモーション・コンシスタンス・リファインメント(VMCR)モジュールを提案する。
  論文  参考訳（メタデータ） (2025-01-08T05:49:39Z)
• FreeLong: Training-Free Long Video Generation with SpectralBlend Temporal Attention [57.651429116402554]
  本稿では、一貫した長ビデオ生成のための既存の短ビデオ拡散モデルを拡張するための、単純で訓練のないアプローチについて検討する。 短いビデオ拡散モデルを直接適用することで、ビデオの品質が著しく低下することを発見した。 そこで本研究では,長い映像の特徴の周波数分布のバランスをとるために,FreeLongという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T11:52:07Z)
• Encoding and Controlling Global Semantics for Long-form Video Question Answering [40.129800076300434]
  我々は、ビデオのグローバルなセマンティクスを効率的に統合するために、状態空間層(SSL)をマルチモーダルトランスフォーマーに導入する。 私たちのSSLには、グローバルなセマンティクスから視覚表現へのフローを制御可能にするゲーティングユニットが含まれています。 長大なビデオQA能力を評価するため,Ego-QAとMAD-QAの2つの新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-05-30T06:10:10Z)
• ControlVideo: Training-free Controllable Text-to-Video Generation [117.06302461557044]
  ControlVideoは、自然で効率的なテキスト・ビデオ生成を可能にするフレームワークである。 NVIDIA 2080Tiを使って、ショートビデオとロングビデオの両方を数分で生成する。
  論文  参考訳（メタデータ） (2023-05-22T14:48:53Z)
• Generating Long Videos of Dynamic Scenes [66.56925105992472]
  本稿では、物体の動きを再現する映像生成モデル、カメラ視点の変化、時間とともに現れる新しいコンテンツについて述べる。 よくある障害ケースは、コンテンツが時間的一貫性を提供する誘導バイアスに過度に依存するため、決して変化しないことです。
  論文  参考訳（メタデータ） (2022-06-07T16:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。