論文の概要: Street-View Image Generation from a Bird's-Eye View Layout
- arxiv url: http://arxiv.org/abs/2301.04634v1
- Date: Wed, 11 Jan 2023 18:39:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-12 17:13:05.926657
- Title: Street-View Image Generation from a Bird's-Eye View Layout
- Title(参考訳): 鳥眼視レイアウトによるストリートビュー画像生成
- Authors: Alexander Swerdlow, Runsheng Xu, Bolei Zhou
- Abstract要約: 本稿では,交通シナリオのBEVレイアウトに適合する現実的かつ空間的に整合した周辺画像を合成する条件生成モデルを提案する。
我々のモデルは、道路や車線を正確に描画できるだけでなく、異なる気象条件や日時の下で交通シーンを生成することができる。
- 参考スコア(独自算出の注目度): 104.3530667176165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bird's-Eye View (BEV) Perception has received increasing attention in recent
years as it provides a concise and unified spatial representation across views
and benefits a diverse set of downstream driving applications. While the focus
has been placed on discriminative tasks such as BEV segmentation, the dual
generative task of creating street-view images from a BEV layout has rarely
been explored. The ability to generate realistic street-view images that align
with a given HD map and traffic layout is critical for visualizing complex
traffic scenarios and developing robust perception models for autonomous
driving. In this paper, we propose BEVGen, a conditional generative model that
synthesizes a set of realistic and spatially consistent surrounding images that
match the BEV layout of a traffic scenario. BEVGen incorporates a novel
cross-view transformation and spatial attention design which learn the
relationship between cameras and map views to ensure their consistency. Our
model can accurately render road and lane lines, as well as generate traffic
scenes under different weather conditions and times of day. The code will be
made publicly available.
- Abstract(参考訳): Bird's-Eye View (BEV) パーセプションは、ビューを横断する簡潔で統一された空間表現を提供し、様々な下流運転アプリケーションに恩恵を与え、近年注目を集めている。
BEVセグメンテーションのような差別的なタスクに焦点が当てられているが、BEVレイアウトからストリートビュー画像を作成するという2つの生成タスクはめったに検討されていない。
与えられたHDマップとトラフィックレイアウトに整合したリアルなストリートビュー画像を生成する能力は、複雑な交通シナリオを可視化し、自律運転のための堅牢な認識モデルを開発する上で重要である。
本稿では,交通シナリオのBEVレイアウトにマッチする現実的かつ空間的に整合した周辺画像の集合を合成する条件生成モデルであるBEVGenを提案する。
BEVGenは、カメラとマップビューの関係を学習して一貫性を確保する、新しいクロスビュー変換と空間アテンションデザインを取り入れている。
我々のモデルは、道路や車線を正確に描画できるだけでなく、天候や日々の異なる状況下での交通シーンを生成できる。
コードは公開される予定だ。
関連論文リスト
- Street Gaussians for Modeling Dynamic Urban Scenes [33.824807872906575]
近年の手法では、車両のアニメーション化に追従した車両のポーズを取り入れてNeRFを拡張し、ダイナミックな街路シーンのリアルなビュー合成を可能にしている。
私たちは、これらの制限に対処する新しい明示的なシーン表現であるStreet Gaussiansを紹介します。
提案手法は,全データセットで常に最先端の手法より優れる。
論文 参考訳(メタデータ) (2024-01-02T18:59:55Z) - Synthesizing Traffic Datasets using Graph Neural Networks [2.444217495283211]
本稿では,2次元交通シミュレーションと記録ジャンクション映像からフォトリアリスティックな画像を作成することによって,この「シムリアル」ギャップを埋める新しい手法を提案する。
本稿では,現実的な都市交通画像の作成を容易にするために,条件付き生成適応ネットワークとグラフニューラルネットワーク(GNN)を統合した新しい画像生成手法を提案する。
論文 参考訳(メタデータ) (2023-12-08T13:24:19Z) - Deep Perspective Transformation Based Vehicle Localization on Bird's Eye
View [0.49747156441456597]
従来のアプローチでは、環境をシミュレートする複数のセンサーのインストールに依存していた。
シーンのトップダウン表現を生成することで、代替ソリューションを提案する。
本稿では,RGB画像の視点ビューを,周囲の車両を分割した鳥眼ビューマップに変換するアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-11-12T10:16:42Z) - TrafficBots: Towards World Models for Autonomous Driving Simulation and
Motion Prediction [149.5716746789134]
我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。
動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。
オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
論文 参考訳(メタデータ) (2023-03-07T18:28:41Z) - Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。
我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
論文 参考訳(メタデータ) (2022-11-15T13:52:41Z) - Estimation of Appearance and Occupancy Information in Birds Eye View
from Surround Monocular Images [2.69840007334476]
Birds-eye View (BEV)は、トップダウンビューから、エゴ車両フレーム内の異なる交通参加者の位置を表す。
360デグ視野(FOV)をカバーするモノクラーカメラのアレイから、様々な交通参加者の外観や占有情報をキャプチャする新しい表現を提案する。
我々は、すべてのカメラ画像の学習画像埋め込みを使用して、シーンの外観と占有度の両方をキャプチャする瞬間に、シーンのBEVを生成する。
論文 参考訳(メタデータ) (2022-11-08T20:57:56Z) - Structured Bird's-Eye-View Traffic Scene Understanding from Onboard
Images [128.881857704338]
本研究では,BEV座標における局所道路網を表す有向グラフを,単眼カメラ画像から抽出する問題について検討する。
提案手法は,BEV平面上の動的物体を検出するために拡張可能であることを示す。
我々は、強力なベースラインに対するアプローチを検証するとともに、ネットワークが優れたパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-10-05T12:40:33Z) - SceneGen: Learning to Generate Realistic Traffic Scenes [92.98412203941912]
私たちは、ルールと分布の必要性を緩和するトラフィックシーンのニューラルオートレグレッシブモデルであるSceneGenを紹介します。
実トラフィックシーンの分布を忠実にモデル化するSceneGenの能力を実証する。
論文 参考訳(メタデータ) (2021-01-16T22:51:43Z) - SimAug: Learning Robust Representations from Simulation for Trajectory
Prediction [78.91518036949918]
本研究では,シミュレーション学習データの拡張により,ロバスト表現を学習する新しい手法を提案する。
我々は,SimAugが実世界の3つのベンチマークで有望な結果を得ることを示す。
論文 参考訳(メタデータ) (2020-04-04T21:22:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。