論文の概要: Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention

• arxiv url: http://arxiv.org/abs/2412.03520v2
• Date: Mon, 09 Dec 2024 06:58:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 11:30:40.404238
• Title: Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention
• Title（参考訳）: ビューを超えて見る:ホリスティックな注意を伴うマルチビュー駆動のシーンビデオ生成
• Authors: Hannan Lu, Xiaohe Wu, Shudong Wang, Xiameng Qin, Xinyu Zhang, Junyu Han, Wangmeng Zuo, Ji Tao,
• Abstract要約: 高品質なマルチビュー駆動ビデオの合成を目的とした,新しいネットワークであるCogDrivingについて紹介する。 CogDriving は Diffusion Transformer アーキテクチャと holistic-4D attention module を活用し、次元間の同時結合を可能にする。 CogDrivingは、nuScenesバリデーションセットで強力なパフォーマンスを示し、FVDスコア37.8を達成し、リアルなドライビングビデオを生成する能力を強調している。
• 参考スコア（独自算出の注目度）: 61.3281618482513
• License:
• Abstract: Generating multi-view videos for autonomous driving training has recently gained much attention, with the challenge of addressing both cross-view and cross-frame consistency. Existing methods typically apply decoupled attention mechanisms for spatial, temporal, and view dimensions. However, these approaches often struggle to maintain consistency across dimensions, particularly when handling fast-moving objects that appear at different times and viewpoints. In this paper, we present CogDriving, a novel network designed for synthesizing high-quality multi-view driving videos. CogDriving leverages a Diffusion Transformer architecture with holistic-4D attention modules, enabling simultaneous associations across the spatial, temporal, and viewpoint dimensions. We also propose a lightweight controller tailored for CogDriving, i.e., Micro-Controller, which uses only 1.1% of the parameters of the standard ControlNet, enabling precise control over Bird's-Eye-View layouts. To enhance the generation of object instances crucial for autonomous driving, we propose a re-weighted learning objective, dynamically adjusting the learning weights for object instances during training. CogDriving demonstrates strong performance on the nuScenes validation set, achieving an FVD score of 37.8, highlighting its ability to generate realistic driving videos. The project can be found at https://luhannan.github.io/CogDrivingPage/.
• Abstract（参考訳）: 自律運転トレーニングのためのマルチビュービデオの生成は、クロスビューとクロスフレームの整合性の両方に対処する上で、最近多くの注目を集めている。 既存の手法は通常、空間的、時間的、視野的な次元に対して分離された注意機構を適用する。 しかしながら、これらのアプローチは、特に異なる時間と視点で現れる高速で動くオブジェクトを扱う場合、次元間の一貫性を維持するのに苦労することが多い。 本稿では,高品質なマルチビュー駆動ビデオの合成を目的とした,新しいネットワークCagDrivingを提案する。 CogDriving は Diffusion Transformer アーキテクチャを総体 4D のアテンションモジュールで利用し、空間次元、時間次元、視点次元の同時関連を可能にする。 また,標準制御ネットのパラメータの1.1%しか使用せず,BirdのEye-Viewレイアウトを正確に制御できる,CogDrivingに適した軽量コントローラを提案する。 自律運転に不可欠なオブジェクトインスタンスの生成を促進するため,トレーニング中のオブジェクトインスタンスの学習重みを動的に調整し,再重み付け学習目標を提案する。 CogDrivingは、nuScenesバリデーションセットで強力なパフォーマンスを示し、FVDスコア37.8を達成し、リアルなドライビングビデオを生成する能力を強調している。 このプロジェクトはhttps://luhannan.github.io/CogDrivingPage/で見ることができる。

関連論文リスト

• Physical Informed Driving World Model [47.04423342994622]
  DrivePhysicaは、本質的な物理原理に準拠したリアルなドライビングビデオを生成するために設計された革新的なモデルだ。 我々は,Nuscenesデータセット上での3.96 FIDと38.06 FVDの駆動ビデオ生成品質と下流認識タスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-12-11T14:29:35Z)
• Stag-1: Towards Realistic 4D Driving Simulation with Video Generation Model [83.31688383891871]
  本稿では,現実世界のシーンを再現するために,DrivinG(Stag-1)モデルのための空間-テンポラル・シミュレートを提案する。 Stag-1は、自動運転車のサラウンドビューデータを使用して、連続した4Dポイントのクラウドシーンを構築する。 空間的時間的関係を分離し、コヒーレントな運転ビデオを生成する。
  論文  参考訳（メタデータ） (2024-12-06T18:59:56Z)
• UniMLVG: Unified Framework for Multi-view Long Video Generation with Comprehensive Control Capabilities for Autonomous Driving [18.189392365510848]
  UniMLVGは、正確に制御された拡張ストリートマルチパースペクティブビデオを生成するために設計された統合フレームワークである。 トレーニングデータにシングルビューとマルチビューのドライビングビデオを統合することで、我々のアプローチは3段階にわたってクロスフレームとクロスビューのモジュールを更新する。 我々のフレームワークは、FIDが21.4%、FVDが36.5%の改善を実現している。
  論文  参考訳（メタデータ） (2024-12-06T08:27:53Z)
• MagicDriveDiT: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control [68.74166535159311]
  本稿では,Ditアーキテクチャに基づく新しいアプローチであるMagicDriveDiTを紹介する。 MagicDriveDiTは、空間的時間的条件エンコーディングを組み込むことで、空間的時間的潜伏量を正確に制御する。 実験では、高解像度でフレーム数の多いリアルなストリートシーンビデオを生成する上で、優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-21T03:13:30Z)
• DiVE: DiT-based Video Generation with Enhanced Control [23.63288169762629]
  時間的・多視点的な一貫したビデオを生成するために特別に設計された第1のDiTベースのフレームワークを提案する。 具体的には、パラメータフリーな空間ビューインフレードアテンション機構を利用して、クロスビューの一貫性を保証する。
  論文  参考訳（メタデータ） (2024-09-03T04:29:59Z)
• Linking vision and motion for self-supervised object-centric perception [16.821130222597155]
  オブジェクト中心の表現は、自律運転アルゴリズムが多くの独立したエージェントとシーンの特徴の間の相互作用を推論することを可能にする。 伝統的にこれらの表現は教師付き学習によって得られてきたが、これは下流の駆動タスクからの認識を分離し、一般化を損なう可能性がある。 我々は、RGBビデオと車両のポーズを入力として、自己教師対象中心の視覚モデルを適用してオブジェクト分解を行う。
  論文  参考訳（メタデータ） (2023-07-14T04:21:05Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• MVLidarNet: Real-Time Multi-Class Scene Understanding for Autonomous Driving Using Multiple Views [60.538802124885414]
  マルチビューLidarNet(MVLidarNet)は,多層物体検出とドライビング空間分割のための2段階のディープニューラルネットワークである。 MVLidarNetは、単一のLiDARスキャンを入力として、乾燥可能な空間を同時に決定しながら、オブジェクトを検出し、分類することができる。 我々は、KITTIとはるかに大きな内部データセットの両方で結果を示し、その方法が桁違いにスケールできることを実証する。
  論文  参考訳（メタデータ） (2020-06-09T21:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。