論文の概要: UniSim: A Neural Closed-Loop Sensor Simulator

• arxiv url: http://arxiv.org/abs/2308.01898v1
• Date: Thu, 3 Aug 2023 17:56:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 13:10:26.294183
• Title: UniSim: A Neural Closed-Loop Sensor Simulator
• Title（参考訳）: unisim:ニューラルネットワーククローズドループセンサシミュレータ
• Authors: Ze Yang, Yun Chen, Jingkang Wang, Sivabalan Manivasagam, Wei-Chiu Ma, Anqi Joyce Yang, Raquel Urtasun
• Abstract要約: センサ搭載車両によって記録された1つのログをキャプチャする、ニューラルネットワークシミュレータUniSimを提示する。 UniSimは、静的バックグラウンドと動的アクターの両方を再構築するために、ニューラルネットワーク機能グリッドを構築する。 動的オブジェクトの学習可能な事前情報を組み込んで、畳み込みネットワークを利用して未確認領域を完成させる。
• 参考スコア（独自算出の注目度）: 76.79818601389992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rigorously testing autonomy systems is essential for making safe self-driving vehicles (SDV) a reality. It requires one to generate safety critical scenarios beyond what can be collected safely in the world, as many scenarios happen rarely on public roads. To accurately evaluate performance, we need to test the SDV on these scenarios in closed-loop, where the SDV and other actors interact with each other at each timestep. Previously recorded driving logs provide a rich resource to build these new scenarios from, but for closed loop evaluation, we need to modify the sensor data based on the new scene configuration and the SDV's decisions, as actors might be added or removed and the trajectories of existing actors and the SDV will differ from the original log. In this paper, we present UniSim, a neural sensor simulator that takes a single recorded log captured by a sensor-equipped vehicle and converts it into a realistic closed-loop multi-sensor simulation. UniSim builds neural feature grids to reconstruct both the static background and dynamic actors in the scene, and composites them together to simulate LiDAR and camera data at new viewpoints, with actors added or removed and at new placements. To better handle extrapolated views, we incorporate learnable priors for dynamic objects, and leverage a convolutional network to complete unseen regions. Our experiments show UniSim can simulate realistic sensor data with small domain gap on downstream tasks. With UniSim, we demonstrate closed-loop evaluation of an autonomy system on safety-critical scenarios as if it were in the real world.
• Abstract（参考訳）: 安全自動運転車(sdv)の実現には、自律システムの厳密なテストが不可欠だ。 多くのシナリオが公道でまれに発生するため、世界で安全に収集できる以上の安全性クリティカルなシナリオを生成する必要がある。 性能を正確に評価するためには、SDVとアクターが各タイミングで相互に相互作用するクローズドループでこれらのシナリオ上でSDVをテストする必要がある。 従来記録された運転ログは、これらの新しいシナリオを構築するための豊富なリソースを提供するが、クローズドループ評価では、アクターの追加や削除、既存のアクターとSDVの軌跡が元のログとは異なるため、新しいシーン構成とSDVの決定に基づいてセンサーデータを変更する必要がある。 本稿では,センサ搭載車両が記録した1つの記録ログを,リアルな閉ループマルチセンサシミュレーションに変換するニューラルネットワークシミュレータUniSimを提案する。 UniSimは、シーン内の静的なバックグラウンドと動的アクターの両方を再構築するニューラルネットワーク機能グリッドを構築し、それらを合成して、新たな視点でLiDARとカメラデータをシミュレートする。 補間されたビューをよりうまく扱うために、動的オブジェクトに学習可能なプリエントを組み込んで、畳み込みネットワークを利用して、目に見えない領域を完成させます。 実験により,unisimは下流タスクに小さな領域ギャップを伴い,リアルなセンサデータをシミュレートできることを示した。 我々は,UniSimを用いて,安全クリティカルシナリオにおける自律システムのクローズループ評価を行った。

関連論文リスト

• NeuroNCAP: Photorealistic Closed-loop Safety Testing for Autonomous Driving [19.709153559084093]
  自律運転ソフトウェアシステムをテストするための多用途NeRFシミュレータを提案する。 シミュレータは、実世界の駆動センサデータのシーケンスから学習する。 我々はシミュレータを用いて、Euro NCAPにインスパイアされた安全クリティカルなシナリオに対するADモデルの応答をテストする。
  論文  参考訳（メタデータ） (2024-04-11T14:03:16Z)
• CADSim: Robust and Scalable in-the-wild 3D Reconstruction for Controllable Sensor Simulation [44.83732884335725]
  センサシミュレーションでは、車などの交通参加者を高品質な外観と明瞭な幾何学でモデル化する。 現在の再構築アプローチは、その広さとノイズのために、Wildのセンサーデータに苦労している。 本稿では,車体形状を自動再構成するために,CADモデルの小さなセットと微分レンダリングを併用したCADSimを提案する。
  論文  参考訳（メタデータ） (2023-11-02T17:56:59Z)
• VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and Policy Learning for Autonomous Vehicles [131.2240621036954]
  VISTAはオープンソースのデータ駆動シミュレータで、複数のタイプのセンサーを自律走行車に組み込む。 高忠実で実世界のデータセットを使用して、VISTAはRGBカメラ、3D LiDAR、イベントベースのカメラを表現し、シミュレートする。 センサタイプ毎に知覚制御ポリシーをトレーニングし,テストする能力を示し,フルスケールの自律走行車への展開を通じて,このアプローチのパワーを示す。
  論文  参考訳（メタデータ） (2021-11-23T18:58:10Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
  DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。 DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。 実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
  論文  参考訳（メタデータ） (2021-04-30T15:30:05Z)
• AdvSim: Generating Safety-Critical Scenarios for Self-Driving Vehicles [76.46575807165729]
  我々は,任意のLiDARベースの自律システムに対して,安全クリティカルなシナリオを生成するための,敵対的フレームワークであるAdvSimを提案する。 センサデータから直接シミュレートすることにより、完全な自律スタックに対して安全クリティカルな敵シナリオを得る。
  論文  参考訳（メタデータ） (2021-01-16T23:23:12Z)
• LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
  物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。 まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。 本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
  論文  参考訳（メタデータ） (2020-06-16T17:44:35Z)
• SurfelGAN: Synthesizing Realistic Sensor Data for Autonomous Driving [27.948417322786575]
  本稿では,現実的なシナリオセンサデータを生成するための,シンプルで効果的な手法を提案する。 われわれのアプローチでは、テクスチャマップされたサーフを使用して、初期車両のパスやセットのパスからシーンを効率的に再構築する。 次に、SurfelGANネットワークを利用して、現実的なカメライメージを再構築し、自動運転車の新たな位置と方向を推定する。
  論文  参考訳（メタデータ） (2020-05-08T04:01:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。