論文の概要: SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2005.03844v2
- Date: Thu, 25 Jun 2020 05:37:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-05 12:43:45.452721
- Title: SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving
- Title（参考訳）: SurfelGAN: 自律運転のためのリアルなセンサデータの合成
- Authors: Zhenpei Yang, Yuning Chai, Dragomir Anguelov, Yin Zhou, Pei Sun,
Dumitru Erhan, Sean Rafferty, Henrik Kretzschmar
- Abstract要約: 本稿では,現実的なシナリオセンサデータを生成するための,シンプルで効果的な手法を提案する。
われわれのアプローチでは、テクスチャマップされたサーフを使用して、初期車両のパスやセットのパスからシーンを効率的に再構築する。
次に、SurfelGANネットワークを利用して、現実的なカメライメージを再構築し、自動運転車の新たな位置と方向を推定する。
- 参考スコア（独自算出の注目度）: 27.948417322786575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous driving system development is critically dependent on the ability
to replay complex and diverse traffic scenarios in simulation. In such
scenarios, the ability to accurately simulate the vehicle sensors such as
cameras, lidar or radar is essential. However, current sensor simulators
leverage gaming engines such as Unreal or Unity, requiring manual creation of
environments, objects and material properties. Such approaches have limited
scalability and fail to produce realistic approximations of camera, lidar, and
radar data without significant additional work.
In this paper, we present a simple yet effective approach to generate
realistic scenario sensor data, based only on a limited amount of lidar and
camera data collected by an autonomous vehicle. Our approach uses
texture-mapped surfels to efficiently reconstruct the scene from an initial
vehicle pass or set of passes, preserving rich information about object 3D
geometry and appearance, as well as the scene conditions. We then leverage a
SurfelGAN network to reconstruct realistic camera images for novel positions
and orientations of the self-driving vehicle and moving objects in the scene.
We demonstrate our approach on the Waymo Open Dataset and show that it can
synthesize realistic camera data for simulated scenarios. We also create a
novel dataset that contains cases in which two self-driving vehicles observe
the same scene at the same time. We use this dataset to provide additional
evaluation and demonstrate the usefulness of our SurfelGAN model.
- Abstract（参考訳）: 自動運転システムの開発は、シミュレーションにおいて複雑で多様な交通シナリオを再生する能力に依存する。
このようなシナリオでは、カメラ、ライダー、レーダーなどの車両センサーを正確にシミュレートする能力が不可欠である。
しかし、現在のセンサーシミュレータはunrealやunityのようなゲームエンジンを利用し、環境やオブジェクト、素材の手動生成を必要とする。
このようなアプローチはスケーラビリティが限られており、カメラ、ライダー、レーダーデータの現実的な近似を、大きな作業なしでは生成できない。
本稿では,自動運転車が収集するライダーやカメラデータに限らず,現実的なシナリオセンサデータを生成するための,シンプルかつ効果的なアプローチを提案する。
本手法では,テクスチャマップを用いたサーフセルを用いて,初期車両パスやパスセットからシーンを効率的に再構成し,物体の3次元形状や外観やシーン条件に関する豊富な情報を保存する。
次に、surferganネットワークを利用して、写実的なカメラ画像を再構成し、自動運転車の新たな位置と方向とシーン内の動く物体を再現する。
waymo open datasetのアプローチを実演し,シミュレーションシナリオに対して現実的なカメラデータを合成できることを実証した。
また、2台の自動運転車が同時に同じシーンを観察するケースを含む、新しいデータセットも作成します。
このデータセットを使ってさらなる評価を行い、surferganモデルの有用性を実証します。
関連論文リスト
- Learning autonomous driving from aerial imagery [67.06858775696453]
フォトグラムシミュレーターは、生成済みの資産を新しいビューに変換することによって、新しいビューを合成することができる。
我々は、ニューラルネットワーク場(NeRF)を中間表現として使用し、地上車両の視点から新しいビューを合成する。
論文 参考訳（メタデータ） (2024-10-18T05:09:07Z) - Reconstructing Objects in-the-wild for Realistic Sensor Simulation [41.55571880832957]
我々は,スパース・イン・ザ・ワイルドデータから正確な幾何学的および現実的な外観を推定する新しい手法であるNeuSimを提案する。
物体の外観を物理にインスパイアされた頑健な反射率表現でモデル化し,実測データに有効である。
実験の結果,NeuSimはスパース・トレーニング・ビューを持つ難解なシナリオに対して,強力なビュー合成性能を有することがわかった。
論文 参考訳（メタデータ） (2023-11-09T18:58:22Z) - CADSim: Robust and Scalable in-the-wild 3D Reconstruction for
Controllable Sensor Simulation [44.83732884335725]
センサシミュレーションでは、車などの交通参加者を高品質な外観と明瞭な幾何学でモデル化する。
現在の再構築アプローチは、その広さとノイズのために、Wildのセンサーデータに苦労している。
本稿では,車体形状を自動再構成するために,CADモデルの小さなセットと微分レンダリングを併用したCADSimを提案する。
論文 参考訳（メタデータ） (2023-11-02T17:56:59Z) - VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and
Policy Learning for Autonomous Vehicles [131.2240621036954]
VISTAはオープンソースのデータ駆動シミュレータで、複数のタイプのセンサーを自律走行車に組み込む。
高忠実で実世界のデータセットを使用して、VISTAはRGBカメラ、3D LiDAR、イベントベースのカメラを表現し、シミュレートする。
センサタイプ毎に知覚制御ポリシーをトレーニングし,テストする能力を示し,フルスケールの自律走行車への展開を通じて,このアプローチのパワーを示す。
論文 参考訳（メタデータ） (2021-11-23T18:58:10Z) - Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation [98.51313127382937]
合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
論文 参考訳（メタデータ） (2021-11-15T18:37:43Z) - DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。
DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。
実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
論文 参考訳（メタデータ） (2021-04-30T15:30:05Z) - Recovering and Simulating Pedestrians in the Wild [81.38135735146015]
本研究では,自動車の走行によって野生で捕獲されたセンサから歩行者の形状と動きを復元することを提案する。
再建された歩行者資産銀行をリアルな3Dシミュレーションシステムに組み込む。
シミュレーションしたLiDARデータを用いて,視覚知覚タスクに必要な実世界のデータ量を大幅に削減できることを示す。
論文 参考訳（メタデータ） (2020-11-16T17:16:32Z) - LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。
まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。
本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
論文 参考訳（メタデータ） (2020-06-16T17:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。