論文の概要: UniMLVG: Unified Framework for Multi-view Long Video Generation with Comprehensive Control Capabilities for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2412.04842v2
• Date: Mon, 20 Jan 2025 06:32:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:16:33.300923
• Title: UniMLVG: Unified Framework for Multi-view Long Video Generation with Comprehensive Control Capabilities for Autonomous Driving
• Title（参考訳）: UniMLVG: 自律運転のための総合制御機能を備えた多視点長ビデオ生成のための統一フレームワーク
• Authors: Rui Chen, Zehuan Wu, Yichen Liu, Yuxin Guo, Jingcheng Ni, Haifeng Xia, Siyu Xia,
• Abstract要約: UniMLVGは、正確に制御された拡張ストリートマルチパースペクティブビデオを生成するために設計された統合フレームワークである。 トレーニングデータにシングルビューとマルチビューのドライビングビデオを統合することで、我々のアプローチは3段階にわたってクロスフレームとクロスビューのモジュールを更新する。 我々のフレームワークは、FIDが21.4%、FVDが36.5%の改善を実現している。
• 参考スコア（独自算出の注目度）: 18.189392365510848
• License:
• Abstract: The creation of diverse and realistic driving scenarios has become essential to enhance perception and planning capabilities of the autonomous driving system. However, generating long-duration, surround-view consistent driving videos remains a significant challenge. To address this, we present UniMLVG, a unified framework designed to generate extended street multi-perspective videos under precise control. By integrating single- and multi-view driving videos into the training data, our approach updates cross-frame and cross-view modules across three stages with different training objectives, substantially boosting the diversity and quality of generated visual content. Additionally, we employ the explicit viewpoint modeling in multi-view video generation to effectively improve motion transition consistency. Capable of handling various input reference formats (e.g., text, images, or video), our UniMLVG generates high-quality multi-view videos according to the corresponding condition constraints such as 3D bounding boxes or frame-level text descriptions. Compared to the best models with similar capabilities, our framework achieves improvements of 21.4% in FID and 36.5% in FVD.
• Abstract（参考訳）: 多様な現実的な運転シナリオの作成は、自律運転システムの認識と計画能力を高めるために欠かせないものとなっている。 しかし、長時間のサラウンドビューで一貫したドライビングビデオを生成することは、依然として大きな課題だ。 そこで我々は,街路マルチパースペクティブビデオを生成するための統合フレームワークUniMLVGを提案する。 トレーニングデータにシングルビューとマルチビューのドライビングビデオを統合することで、トレーニング目的の異なる3段階にわたるクロスフレームとクロスビューモジュールを更新し、生成したビジュアルコンテンツの多様性と品質を大幅に向上させる。 さらに,多視点映像生成における視点の明示的モデリングを用いて,動き遷移の一貫性を効果的に向上する。 各種入力参照フォーマット(テキスト,画像,ビデオなど)を処理可能なUniMLVGは,3Dバウンディングボックスやフレームレベルのテキスト記述などの条件制約に従って,高品質なマルチビュービデオを生成する。 同様の機能を持つ最高のモデルと比較して、当社のフレームワークはFIDが21.4%、FVDが36.5%の改善を実現している。

関連論文リスト

• DiTCtrl: Exploring Attention Control in Multi-Modal Diffusion Transformer for Tuning-Free Multi-Prompt Longer Video Generation [54.30327187663316]
  DiTCtrlは、MM-DiTアーキテクチャの下で初めてトレーニング不要なマルチプロンプトビデオ生成手法である。 MM-DiTの注意機構を解析し、3次元のフルアテンションがUNetのような拡散モデルにおけるクロス/セルフアテンションブロックと同様の振る舞いを示す。 我々の注意深い設計に基づいて、DiTCtrlによって生成されたビデオは、複数のシーケンシャルプロンプトが与えられた滑らかな遷移と一貫した物体の動きを達成する。
  論文  参考訳（メタデータ） (2024-12-24T18:51:19Z)
• SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints [43.14498014617223]
  マルチカメラビデオ生成のための事前訓練されたテキスト・ツー・ビデオモデルを強化するプラグイン・アンド・プレイ・モジュールを提案する。 異なる視点における外観と幾何の整合性を維持するために,マルチビュー同期モジュールを導入する。 提案手法は,新しい視点からビデオを再レンダリングするなど,興味をそそる拡張を可能にする。
  論文  参考訳（メタデータ） (2024-12-10T18:55:17Z)
• Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention [61.3281618482513]
  高品質なマルチビュー駆動ビデオの合成を目的とした,新しいネットワークであるCogDrivingについて紹介する。 CogDriving は Diffusion Transformer アーキテクチャと holistic-4D attention module を活用し、次元間の同時結合を可能にする。 CogDrivingは、nuScenesバリデーションセットで強力なパフォーマンスを示し、FVDスコア37.8を達成し、リアルなドライビングビデオを生成する能力を強調している。
  論文  参考訳（メタデータ） (2024-12-04T18:02:49Z)
• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• Vivid-ZOO: Multi-View Video Generation with Diffusion Model [76.96449336578286]
  新しい課題は、大量のキャプション付きマルチビュービデオの欠如と、そのような多次元分布をモデル化する複雑さにある。 本稿では,テキストから動的3Dオブジェクトを中心に,高品質なマルチビュービデオを生成する拡散型パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-12T21:44:04Z)
• CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
  CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。 本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。 ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
  論文  参考訳（メタデータ） (2024-02-08T18:27:22Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)
• Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
  本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。 本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。 我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:47:09Z)
• DrivingDiffusion: Layout-Guided multi-view driving scene video generation with latent diffusion model [19.288610627281102]
  3次元レイアウトで制御されたリアルなマルチビュービデオを生成するために、DrivingDiffusionを提案する。 我々のモデルは複雑な都市のシーンで大規模でリアルなマルチカメラ駆動ビデオを生成することができる。
  論文  参考訳（メタデータ） (2023-10-11T18:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。