論文の概要: VistaGEN: Consistent Driving Video Generation with Fine-Grained Control Using Multiview Visual-Language Reasoning
- arxiv url: http://arxiv.org/abs/2603.28353v1
- Date: Mon, 30 Mar 2026 12:22:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:45.38446
- Title: VistaGEN: Consistent Driving Video Generation with Fine-Grained Control Using Multiview Visual-Language Reasoning
- Title（参考訳）: VistaGEN:マルチビュービジュアルランゲージ推論を用いた微粒化制御による一貫した運転映像生成
- Authors: Li-Heng Chen, Ke Cheng, Yahui Liu, Lei Shi, Shi-Sheng Huang, Hongbo Fu,
- Abstract要約: 本稿では,3Dオブジェクト,画像,テキスト記述のきめ細かい制御を可能にするVistaGENと呼ばれる新しい駆動ビデオ生成手法を提案する。
我々の重要な革新は、きめ細かい制御性を実現するために、マルチビューの視覚言語機能をマルチビュービデオジェネレータに組み込むことである。
- 参考スコア（独自算出の注目度）: 36.55052945645679
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Driving video generation has achieved much progress in controllability, video resolution, and length, but fails to support fine-grained object-level controllability for diverse driving videos, while preserving the spatiotemporal consistency, especially in long video generation. In this paper, we present a new driving video generation technique, called VistaGEN, which enables fine-grained control of specific entities, including 3D objects, images, and text descriptions, while maintaining spatiotemporal consistency in long video sequences. Our key innovation is the incorporation of multiview visual-language reasoning into the long driving video generation. To this end, we inject visual-language features into a multiview video generator to enable fine-grained controllability. More importantly, we propose a multiview vision-language evaluator (MV-VLM) to intelligently and automatically evaluate spatiotemporal consistency of the generated content, thus formulating a novel generation-evaluation-regeneration closed-loop generation mechanism. This mechanism ensures high-quality, coherent outputs, facilitating the creation of complex and reliable driving scenarios. Besides, within the closed-loop generation, we introduce an object-level refinement module to refine the unsatisfied results evaluated from the MV-VLM and then feed them back to the video generator for regeneration. Extensive evaluation shows that our VistaGEN achieves diverse driving video generation results with fine-grained controllability, especially for long-tail objects, and much better spatiotemporal consistency than previous approaches.
- Abstract（参考訳）: ドライビングビデオ生成は、制御性、ビデオ解像度、長さに大きな進歩を遂げてきたが、特に長時間ビデオ生成において、時空間の一貫性を維持しながら、様々なドライビングビデオに対してきめ細かいオブジェクトレベルの制御性をサポートできなかった。
本稿では,3Dオブジェクトや画像,テキスト記述など,特定のエンティティのきめ細かい制御を可能にするとともに,長時間のビデオシーケンスにおける時空間整合性を維持できるVistaGENという新しい駆動ビデオ生成手法を提案する。
私たちの重要な革新は、長時間駆動ビデオ生成に多視点視覚言語推論を取り入れることです。
この目的のために、視覚言語機能をマルチビュービデオジェネレータに注入し、きめ細かい制御を可能にする。
さらに,生成したコンテンツの時空間的一貫性をインテリジェントかつ自動評価する多視点視覚言語評価器 (MV-VLM) を提案する。
このメカニズムにより、高品質でコヒーレントな出力が保証され、複雑で信頼性の高い駆動シナリオの作成が容易になる。
さらに, 閉鎖ループ生成において, MV-VLMから評価された不満足な結果を改善し, 再生のためにビデオジェネレータにフィードバックするオブジェクトレベル改良モジュールを導入する。
我々のVistaGENは、特に長い尾の物体に対して、細粒度制御可能な多様な駆動ビデオ生成結果を実現し、従来の手法よりも時空間整合性が高いことを示す。
関連論文リスト
- Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing [93.8111348452324]
Tele-Omniはビデオ生成と編集のための統合されたフレームワークで、マルチモーダルな指示に従う。
テキスト・ツー・ビデオ生成、画像・ビデオ生成、ファースト・ラスト・フレーム・ビデオ生成、イン・コンテクスト・ビデオ生成、およびイン・コンテクスト・ビデオ編集をサポートする。
論文 参考訳（メタデータ） (2026-02-10T10:01:16Z) - Inference-based GAN Video Generation [47.53991869205973]
可変エンコーダを用いた対向型非条件ビデオジェネレータの実現により,新しいタイプのビデオジェネレータを提案する。
既存のモデルは、生成されたビデオの時間的スケーリングに苦労する。
私たちは、数百から数千のフレームからなる長いビデオを生成するために、新しい、メモリ効率のアプローチを採用しています。
論文 参考訳（メタデータ） (2025-12-25T20:14:38Z) - Controllable Video Generation: A Survey [72.38313362192784]
本稿では、制御可能なビデオ生成の体系的レビューを行い、理論的基礎と最近の現場の進歩の両方について述べる。
まず、主要な概念を導入し、一般的に使われているオープンソースビデオ生成モデルを紹介します。
次に、映像拡散モデルにおける制御機構に着目し、生成を誘導する認知過程に異なる種類の条件を組み込む方法について分析する。
論文 参考訳（メタデータ） (2025-07-22T06:05:34Z) - MAGREF: Masked Guidance for Any-Reference Video Generation with Subject Disentanglement [47.064467920954776]
我々は、任意の参照ビデオ生成のための統一的で効果的なフレームワークであるMAGREFを紹介する。
提案手法は,マスキング誘導と主観的ゆがみ機構を取り入れたものである。
包括的なベンチマークの実験は、MAGREFが既存の最先端のアプローチを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-05-29T17:58:15Z) - ASurvey: Spatiotemporal Consistency in Video Generation [72.82267240482874]
動的視覚生成手法を利用した映像生成手法は人工知能生成コンテンツ(AIGC)の境界を押し下げる
最近の研究は、映像生成における時間的一貫性の問題に対処することを目的としているが、この観点からの文献レビューはほとんど行われていない。
基礎モデル,情報表現,生成スキーム,後処理技術,評価指標の5つの重要な側面を網羅して,映像生成の最近の進歩を体系的に検討した。
論文 参考訳（メタデータ） (2025-02-25T05:20:51Z) - Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention [61.3281618482513]
高品質なマルチビュー駆動ビデオの合成を目的とした,新しいネットワークであるCogDrivingについて紹介する。
CogDriving は Diffusion Transformer アーキテクチャと holistic-4D attention module を活用し、次元間の同時結合を可能にする。
CogDrivingは、nuScenesバリデーションセットで強力なパフォーマンスを示し、FVDスコア37.8を達成し、リアルなドライビングビデオを生成する能力を強調している。
論文 参考訳（メタデータ） (2024-12-04T18:02:49Z) - DiVE: DiT-based Video Generation with Enhanced Control [23.63288169762629]
時間的・多視点的な一貫したビデオを生成するために特別に設計された第1のDiTベースのフレームワークを提案する。
具体的には、パラメータフリーな空間ビューインフレードアテンション機構を利用して、クロスビューの一貫性を保証する。
論文 参考訳（メタデータ） (2024-09-03T04:29:59Z) - Video Generation Beyond a Single Clip [76.5306434379088]
ビデオ生成モデルは、実際のビデオの長さと比較して比較的短いビデオクリップしか生成できない。
多様なコンテンツや複数のイベントをカバーした長いビデオを生成するために,ビデオ生成プロセスを制御するための追加のガイダンスを提案する。
提案手法は、固定時間ウィンドウ内でリアルな映像を生成することに焦点を当てた、既存の映像生成の取り組みを補完するものである。
論文 参考訳（メタデータ） (2023-04-15T06:17:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。