論文の概要: Panacea: Panoramic and Controllable Video Generation for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2311.16813v1
• Date: Tue, 28 Nov 2023 14:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 18:19:12.676227
• Title: Panacea: Panoramic and Controllable Video Generation for Autonomous Driving
• Title（参考訳）: panacea: 自動運転のためのパノラマと制御可能なビデオ生成
• Authors: Yuqing Wen, Yucheng Zhao, Yingfei Liu, Fan Jia, Yanhui Wang, Chong Luo, Chi Zhang, Tiancai Wang, Xiaoyan Sun, Xiangyu Zhang
• Abstract要約: 運転シナリオにおいてパノラマおよび制御可能なビデオを生成する革新的な手法であるパナセアを提案する。 Panaceaは2つの重要な課題に対処する:「一貫性」と「保守性」
• 参考スコア（独自算出の注目度）: 38.404935454784855
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The field of autonomous driving increasingly demands high-quality annotated training data. In this paper, we propose Panacea, an innovative approach to generate panoramic and controllable videos in driving scenarios, capable of yielding an unlimited numbers of diverse, annotated samples pivotal for autonomous driving advancements. Panacea addresses two critical challenges: 'Consistency' and 'Controllability.' Consistency ensures temporal and cross-view coherence, while Controllability ensures the alignment of generated content with corresponding annotations. Our approach integrates a novel 4D attention and a two-stage generation pipeline to maintain coherence, supplemented by the ControlNet framework for meticulous control by the Bird's-Eye-View (BEV) layouts. Extensive qualitative and quantitative evaluations of Panacea on the nuScenes dataset prove its effectiveness in generating high-quality multi-view driving-scene videos. This work notably propels the field of autonomous driving by effectively augmenting the training dataset used for advanced BEV perception techniques.
• Abstract（参考訳）: 自動運転の分野は、ますます高品質な注釈付きトレーニングデータを必要としている。 本稿では,運転シナリオにおいてパノラマ的かつ制御可能な映像を生成するための革新的なアプローチであるpanaceaを提案する。 Panacea氏は2つの重要な課題に対処している。 一貫性はテンポラリとクロスビューのコヒーレンスを保証し、コントロール容易性は生成されたコンテンツと対応するアノテーションのアライメントを保証する。 提案手法は,バードズアイビュー(BEV)レイアウトによる微妙な制御のために,コントロールネットフレームワークによって補足された,新しい4Dアテンションと2段階生成パイプラインを統合してコヒーレンスを維持する。 nuScenesデータセット上のパナセアの質的および定量的評価は、高品質なマルチビュー駆動シーンビデオを生成する上での有効性を証明している。 この研究は、高度なBEV知覚技術に使用されるトレーニングデータセットを効果的に増強することで、自動運転の分野を特に促進する。

関連論文リスト

• UniMLVG: Unified Framework for Multi-view Long Video Generation with Comprehensive Control Capabilities for Autonomous Driving [18.189392365510848]
  UniMLVGは、正確に制御された拡張ストリートマルチパースペクティブビデオを生成するために設計された統合フレームワークである。 トレーニングデータにシングルビューとマルチビューのドライビングビデオを統合することで、我々のアプローチは3段階にわたってクロスフレームとクロスビューのモジュールを更新する。 我々のフレームワークは、FIDが21.4%、FVDが36.5%の改善を実現している。
  論文  参考訳（メタデータ） (2024-12-06T08:27:53Z)
• Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention [61.3281618482513]
  高品質なマルチビュー駆動ビデオの合成を目的とした,新しいネットワークであるCogDrivingについて紹介する。 CogDriving は Diffusion Transformer アーキテクチャと holistic-4D attention module を活用し、次元間の同時結合を可能にする。 CogDrivingは、nuScenesバリデーションセットで強力なパフォーマンスを示し、FVDスコア37.8を達成し、リアルなドライビングビデオを生成する能力を強調している。
  論文  参考訳（メタデータ） (2024-12-04T18:02:49Z)
• ZOPP: A Framework of Zero-shot Offboard Panoptic Perception for Autonomous Driving [44.174489160967056]
  オフボード認識は、自動運転シーンのための高品質な3Dラベルを自動生成することを目的としている。 自律走行シーンのためのZOPP(Zero-shot Offboard Panoptic Perception)フレームワークを提案する。 ZOPPは、視覚基礎モデルの強力なゼロショット認識機能と、ポイントクラウドから派生した3D表現を統合している。
  論文  参考訳（メタデータ） (2024-11-08T03:52:32Z)
• DiVE: DiT-based Video Generation with Enhanced Control [23.63288169762629]
  時間的・多視点的な一貫したビデオを生成するために特別に設計された第1のDiTベースのフレームワークを提案する。 具体的には、パラメータフリーな空間ビューインフレードアテンション機構を利用して、クロスビューの一貫性を保証する。
  論文  参考訳（メタデータ） (2024-09-03T04:29:59Z)
• Panacea+: Panoramic and Controllable Video Generation for Autonomous Driving [23.63374916271247]
  本研究では,運転シーンにおける映像データ生成のための強力なフレームワークであるPanacea+を提案する。 Panacea+は、マルチビューのノイズ前処理機構と、一貫性と解像度の向上のための超解像モジュールを採用している。 実験により、生成されたビデオサンプルは、異なるデータセット上の幅広いタスクに大きな恩恵をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-08-14T15:10:13Z)
• Enhancing End-to-End Autonomous Driving with Latent World Model [78.22157677787239]
  コストのかかるラベルを必要とせずにエンドツーエンドの運転を改善するための,新しい自己管理手法を提案する。 フレームワーク textbfLAW は LAtent World モデルを用いて,予測エゴアクションと現在のフレームの潜在機能に基づいて,今後の潜在機能を予測する。 その結果,オープンループベンチマークとクローズループベンチマークの両方において,コストのかかるアノテーションを使わずに最先端のパフォーマンスを実現することができた。
  論文  参考訳（メタデータ） (2024-06-12T17:59:21Z)
• Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving [56.381918362410175]
  Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。 ドライビングシーンで高忠実度マルチビュー映像を生成する。
  論文  参考訳（メタデータ） (2023-11-29T18:59:47Z)
• Drive Anywhere: Generalizable End-to-end Autonomous Driving with Multi-modal Foundation Models [114.69732301904419]
  本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。 当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:56:35Z)
• Visual Exemplar Driven Task-Prompting for Unified Perception in Autonomous Driving [100.3848723827869]
  本稿では,タスク固有のプロンプトを通じて視覚的見本を提示する,効果的なマルチタスクフレームワークVE-Promptを提案する。 具体的には、境界ボックスと色に基づくマーカーに基づいて視覚的な例を生成し、ターゲットカテゴリの正確な視覚的外観を提供する。 我々は変圧器をベースとしたエンコーダと畳み込み層を橋渡しし、自律運転における効率的かつ正確な統合認識を実現する。
  論文  参考訳（メタデータ） (2023-03-03T08:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。