論文の概要: Street-View Image Generation from a Bird's-Eye View Layout

• arxiv url: http://arxiv.org/abs/2301.04634v4
• Date: Tue, 13 Feb 2024 06:21:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 20:19:57.546433
• Title: Street-View Image Generation from a Bird's-Eye View Layout
• Title（参考訳）: 鳥眼視レイアウトによるストリートビュー画像生成
• Authors: Alexander Swerdlow, Runsheng Xu, Bolei Zhou
• Abstract要約: 近年,Bird's-Eye View (BEV) の知覚が注目されている。 自動運転のためのデータ駆動シミュレーションは、最近の研究の焦点となっている。 本稿では,現実的かつ空間的に一貫した周辺画像を合成する条件生成モデルであるBEVGenを提案する。
• 参考スコア（独自算出の注目度）: 95.36869800896335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bird's-Eye View (BEV) Perception has received increasing attention in recent years as it provides a concise and unified spatial representation across views and benefits a diverse set of downstream driving applications. At the same time, data-driven simulation for autonomous driving has been a focal point of recent research but with few approaches that are both fully data-driven and controllable. Instead of using perception data from real-life scenarios, an ideal model for simulation would generate realistic street-view images that align with a given HD map and traffic layout, a task that is critical for visualizing complex traffic scenarios and developing robust perception models for autonomous driving. In this paper, we propose BEVGen, a conditional generative model that synthesizes a set of realistic and spatially consistent surrounding images that match the BEV layout of a traffic scenario. BEVGen incorporates a novel cross-view transformation with spatial attention design which learns the relationship between cameras and map views to ensure their consistency. We evaluate the proposed model on the challenging NuScenes and Argoverse 2 datasets. After training, BEVGen can accurately render road and lane lines, as well as generate traffic scenes with diverse different weather conditions and times of day.
• Abstract（参考訳）: Bird's-Eye View (BEV) パーセプションは、ビューを横断する簡潔で統一された空間表現を提供し、様々な下流運転アプリケーションに恩恵を与え、近年注目を集めている。 同時に、自動運転のためのデータ駆動シミュレーションは最近の研究の焦点となっているが、完全なデータ駆動と制御可能なアプローチはほとんどない。 現実のシナリオからの知覚データを使用する代わりに、シミュレーションの理想的なモデルは、与えられたHDマップとトラフィックレイアウトに沿った現実的なストリートビュー画像を生成する。 本稿では,交通シナリオのBEVレイアウトにマッチする現実的かつ空間的に整合した周辺画像の集合を合成する条件生成モデルであるBEVGenを提案する。 bevgenは、カメラとマップビューの関係を学習し、一貫性を確保する、新しいクロスビュー変換と空間的注意設計を取り入れている。 提案したNuScenesとArgoverse 2データセットについて評価を行った。 訓練後、bevgenは道路や車線を正確に描画し、様々な気象条件や時間帯の交通シーンを生成することができる。

関連論文リスト

• Learning autonomous driving from aerial imagery [67.06858775696453]
  フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することによって、新しいビューを合成することができる。 我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。
  論文  参考訳（メタデータ） (2024-10-18T05:09:07Z)
• From Bird's-Eye to Street View: Crafting Diverse and Condition-Aligned Images with Latent Diffusion Model [16.716345249091408]
  我々は,バード・アイビューの生成を探索し,BEVマップを対応する多視点ストリートイメージに変換する。 提案手法は,ニューラルビュー変換とストリート画像生成の2つの主要コンポーネントから構成される。
  論文  参考訳（メタデータ） (2024-09-02T07:47:16Z)
• Camera Perspective Transformation to Bird's Eye View via Spatial Transformer Model for Road Intersection Monitoring [0.09208007322096533]
  道路交差点の監視と制御の研究は、しばしば鳥の目視(BEV)シミュレータを利用する。 実際の交通状況では、シミュレーターと同様のBEVを達成するには、ドローンや特定のセンサーを配置する必要がある。 道路交差点の1台のカメラの視点をBEVに変換する新しいディープラーニングモデルを提案する。
  論文  参考訳（メタデータ） (2024-08-10T15:01:19Z)
• Urban Scene Diffusion through Semantic Occupancy Map [49.20779809250597]
  UrbanDiffusionは、Bird's-Eye View (BEV)マップに条件付き3次元拡散モデルである。 我々のモデルは,潜在空間内のシーンレベルの構造の分布を学習する。 実世界の運転データセットをトレーニングした後、我々のモデルは多様な都市シーンを生成することができる。
  論文  参考訳（メタデータ） (2024-03-18T11:54:35Z)
• Synthesizing Traffic Datasets using Graph Neural Networks [2.444217495283211]
  本稿では,2次元交通シミュレーションと記録ジャンクション映像からフォトリアリスティックな画像を作成することによって,この「シムリアル」ギャップを埋める新しい手法を提案する。 本稿では,現実的な都市交通画像の作成を容易にするために,条件付き生成適応ネットワークとグラフニューラルネットワーク(GNN)を統合した新しい画像生成手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T13:24:19Z)
• Deep Perspective Transformation Based Vehicle Localization on Bird's Eye View [0.49747156441456597]
  従来のアプローチでは、環境をシミュレートする複数のセンサーのインストールに依存していた。 シーンのトップダウン表現を生成することで、代替ソリューションを提案する。 本稿では,RGB画像の視点ビューを,周囲の車両を分割した鳥眼ビューマップに変換するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-11-12T10:16:42Z)
• Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
  本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。 我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
  論文  参考訳（メタデータ） (2022-11-15T13:52:41Z)
• Structured Bird's-Eye-View Traffic Scene Understanding from Onboard Images [128.881857704338]
  本研究では,BEV座標における局所道路網を表す有向グラフを,単眼カメラ画像から抽出する問題について検討する。 提案手法は,BEV平面上の動的物体を検出するために拡張可能であることを示す。 我々は、強力なベースラインに対するアプローチを検証するとともに、ネットワークが優れたパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-10-05T12:40:33Z)
• SceneGen: Learning to Generate Realistic Traffic Scenes [92.98412203941912]
  私たちは、ルールと分布の必要性を緩和するトラフィックシーンのニューラルオートレグレッシブモデルであるSceneGenを紹介します。 実トラフィックシーンの分布を忠実にモデル化するSceneGenの能力を実証する。
  論文  参考訳（メタデータ） (2021-01-16T22:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。