論文の概要: Panacea: Panoramic and Controllable Video Generation for Autonomous
Driving
- arxiv url: http://arxiv.org/abs/2311.16813v1
- Date: Tue, 28 Nov 2023 14:22:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 18:19:12.676227
- Title: Panacea: Panoramic and Controllable Video Generation for Autonomous
Driving
- Title(参考訳): panacea: 自動運転のためのパノラマと制御可能なビデオ生成
- Authors: Yuqing Wen, Yucheng Zhao, Yingfei Liu, Fan Jia, Yanhui Wang, Chong
Luo, Chi Zhang, Tiancai Wang, Xiaoyan Sun, Xiangyu Zhang
- Abstract要約: 運転シナリオにおいてパノラマおよび制御可能なビデオを生成する革新的な手法であるパナセアを提案する。
Panaceaは2つの重要な課題に対処する:「一貫性」と「保守性」
- 参考スコア(独自算出の注目度): 38.404935454784855
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The field of autonomous driving increasingly demands high-quality annotated
training data. In this paper, we propose Panacea, an innovative approach to
generate panoramic and controllable videos in driving scenarios, capable of
yielding an unlimited numbers of diverse, annotated samples pivotal for
autonomous driving advancements. Panacea addresses two critical challenges:
'Consistency' and 'Controllability.' Consistency ensures temporal and
cross-view coherence, while Controllability ensures the alignment of generated
content with corresponding annotations. Our approach integrates a novel 4D
attention and a two-stage generation pipeline to maintain coherence,
supplemented by the ControlNet framework for meticulous control by the
Bird's-Eye-View (BEV) layouts. Extensive qualitative and quantitative
evaluations of Panacea on the nuScenes dataset prove its effectiveness in
generating high-quality multi-view driving-scene videos. This work notably
propels the field of autonomous driving by effectively augmenting the training
dataset used for advanced BEV perception techniques.
- Abstract(参考訳): 自動運転の分野は、ますます高品質な注釈付きトレーニングデータを必要としている。
本稿では,運転シナリオにおいてパノラマ的かつ制御可能な映像を生成するための革新的なアプローチであるpanaceaを提案する。
Panacea氏は2つの重要な課題に対処している。
一貫性はテンポラリとクロスビューのコヒーレンスを保証し、コントロール容易性は生成されたコンテンツと対応するアノテーションのアライメントを保証する。
提案手法は,バードズアイビュー(BEV)レイアウトによる微妙な制御のために,コントロールネットフレームワークによって補足された,新しい4Dアテンションと2段階生成パイプラインを統合してコヒーレンスを維持する。
nuScenesデータセット上のパナセアの質的および定量的評価は、高品質なマルチビュー駆動シーンビデオを生成する上での有効性を証明している。
この研究は、高度なBEV知覚技術に使用されるトレーニングデータセットを効果的に増強することで、自動運転の分野を特に促進する。
関連論文リスト
- 3D Object Visibility Prediction in Autonomous Driving [6.802572869909114]
本稿では,新しい属性とその対応するアルゴリズムである3Dオブジェクトの可視性について述べる。
この属性の提案とその計算戦略は、下流タスクの能力を拡大することを目的としている。
論文 参考訳(メタデータ) (2024-03-06T13:07:42Z) - Driving into the Future: Multiview Visual Forecasting and Planning with
World Model for Autonomous Driving [56.381918362410175]
Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。
ドライビングシーンで高忠実度マルチビュー映像を生成する。
論文 参考訳(メタデータ) (2023-11-29T18:59:47Z) - Drive Anywhere: Generalizable End-to-end Autonomous Driving with
Multi-modal Foundation Models [114.69732301904419]
本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。
当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
論文 参考訳(メタデータ) (2023-10-26T17:56:35Z) - GAIA-1: A Generative World Model for Autonomous Driving [9.578453700755318]
本稿では,現実的な運転シナリオを生成する生成的世界モデルであるGAIA-1(Generative AI for Autonomy)を紹介する。
我々のモデルからの創発的特性には、高レベルの構造やシーンダイナミクス、文脈認識、一般化、幾何学の理解などが含まれる。
論文 参考訳(メタデータ) (2023-09-29T09:20:37Z) - AIDE: A Vision-Driven Multi-View, Multi-Modal, Multi-Tasking Dataset for
Assistive Driving Perception [26.84439405241999]
本稿では,車内と車外の両方でコンテキスト情報を考察するAssIstive Driving pErceptionデータセット(AIDE)を提案する。
AIDEは3つの特徴を通して総合的なドライバー監視を容易にする。
2つの融合戦略を導入し、効果的なマルチストリーム/モーダル表現の学習に新たな洞察を与える。
論文 参考訳(メタデータ) (2023-07-26T03:12:05Z) - End-to-end Autonomous Driving: Challenges and Frontiers [45.391430626264764]
エンドツーエンドの自動運転におけるモチベーション、ロードマップ、方法論、課題、今後のトレンドについて、270以上の論文を包括的に分析する。
マルチモダリティ、解釈可能性、因果的混乱、堅牢性、世界モデルなど、いくつかの重要な課題を掘り下げます。
基礎モデルと視覚前訓練の現在の進歩と、これらの技術をエンドツーエンドの駆動フレームワークに組み込む方法について論じる。
論文 参考訳(メタデータ) (2023-06-29T14:17:24Z) - Visual Exemplar Driven Task-Prompting for Unified Perception in
Autonomous Driving [100.3848723827869]
本稿では,タスク固有のプロンプトを通じて視覚的見本を提示する,効果的なマルチタスクフレームワークVE-Promptを提案する。
具体的には、境界ボックスと色に基づくマーカーに基づいて視覚的な例を生成し、ターゲットカテゴリの正確な視覚的外観を提供する。
我々は変圧器をベースとしたエンコーダと畳み込み層を橋渡しし、自律運転における効率的かつ正確な統合認識を実現する。
論文 参考訳(メタデータ) (2023-03-03T08:54:06Z) - AutoFed: Heterogeneity-Aware Federated Multimodal Learning for Robust
Autonomous Driving [15.486799633600423]
AutoFedは、自動運転車のマルチモーダルセンサーデータをフル活用するためのフレームワークである。
本研究では, 未知の物体を背景として誤って扱うことを避けるために, 擬似ラベルを用いた新しいモデルを提案する。
また、欠落したデータモダリティを補うために、オートエンコーダに基づくデータ計算手法を提案する。
論文 参考訳(メタデータ) (2023-02-17T01:31:53Z) - Policy Pre-training for End-to-end Autonomous Driving via
Self-supervised Geometric Modeling [96.31941517446859]
PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。
本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。
第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。
第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
論文 参考訳(メタデータ) (2023-01-03T08:52:49Z) - Panoramic Panoptic Segmentation: Insights Into Surrounding Parsing for
Mobile Agents via Unsupervised Contrastive Learning [93.6645991946674]
我々はパノラマパノラマパノプティクスのセグメンテーションを最も総合的なシーン理解として紹介する。
完全な周囲の理解は、移動エージェントに最大限の情報を提供する。
本稿では,標準的なピンホール画像のモデルトレーニングを可能にし,学習した特徴を別のドメインに転送するフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-21T20:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。