論文の概要: Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation
- arxiv url: http://arxiv.org/abs/2111.07971v1
- Date: Mon, 15 Nov 2021 18:37:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 13:37:05.509445
- Title: Towards Optimal Strategies for Training Self-Driving Perception Models
in Simulation
- Title(参考訳): シミュレーションにおける自己認識モデル学習のための最適戦略
- Authors: David Acuna, Jonah Philion, Sanja Fidler
- Abstract要約: 合成ドメインのみにおけるラベルの使用に焦点を当てる。
提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。
マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
- 参考スコア(独自算出の注目度): 98.51313127382937
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous driving relies on a huge volume of real-world data to be labeled
to high precision. Alternative solutions seek to exploit driving simulators
that can generate large amounts of labeled data with a plethora of content
variations. However, the domain gap between the synthetic and real data
remains, raising the following important question: What are the best ways to
utilize a self-driving simulator for perception tasks? In this work, we build
on top of recent advances in domain-adaptation theory, and from this
perspective, propose ways to minimize the reality gap. We primarily focus on
the use of labels in the synthetic domain alone. Our approach introduces both a
principled way to learn neural-invariant representations and a theoretically
inspired view on how to sample the data from the simulator. Our method is easy
to implement in practice as it is agnostic of the network architecture and the
choice of the simulator. We showcase our approach on the bird's-eye-view
vehicle segmentation task with multi-sensor data (cameras, lidar) using an
open-source simulator (CARLA), and evaluate the entire framework on a
real-world dataset (nuScenes). Last but not least, we show what types of
variations (e.g. weather conditions, number of assets, map design, and color
diversity) matter to perception networks when trained with driving simulators,
and which ones can be compensated for with our domain adaptation technique.
- Abstract(参考訳): 自動運転は、大量の現実世界のデータを高精度にラベル付けする。
代替ソリューションは、大量のラベル付きデータを大量のコンテンツバリエーションで生成できる運転シミュレータを活用することを目指している。
しかし、合成データと実際のデータのドメインギャップは依然として残っており、以下の重要な疑問を提起している。
本稿では、ドメイン適応理論の最近の進歩の上に構築し、この観点から現実のギャップを最小化する手法を提案する。
主に、合成ドメインのみにおけるラベルの使用に焦点を当てます。
提案手法では,ニューラル不変表現を学習するための原則的手法と,シミュレータからデータをサンプリングする方法に関する理論的にインスパイアされた視点を導入する。
本手法は,ネットワークアーキテクチャやシミュレータの選択に依存しないため,実装が容易である。
我々は,オープンソースシミュレータ(carla)を用いたマルチセンサデータ(カメラ,lidar)を用いた鳥眼視車両セグメンテーションタスクのアプローチを紹介し,フレームワーク全体を実世界データセット(nuscenes)上で評価する。
最後に、運転シミュレータで訓練した場合、知覚ネットワークにどのような種類のバリエーション(例えば、気象条件、資産数、地図設計、色多様性)が重要かを示し、どのバリエーションをドメイン適応技術で補うことができるかを示す。
関連論文リスト
- Waymax: An Accelerated, Data-Driven Simulator for Large-Scale Autonomous
Driving Research [76.93956925360638]
Waymaxは、マルチエージェントシーンにおける自動運転のための新しいデータ駆動シミュレータである。
TPU/GPUなどのハードウェアアクセラレータで完全に動作し、トレーニング用のグラフ内シミュレーションをサポートする。
我々は、一般的な模倣と強化学習アルゴリズムのスイートをベンチマークし、異なる設計決定に関するアブレーション研究を行った。
論文 参考訳(メタデータ) (2023-10-12T20:49:15Z) - TrafficBots: Towards World Models for Autonomous Driving Simulation and
Motion Prediction [149.5716746789134]
我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。
動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。
オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
論文 参考訳(メタデータ) (2023-03-07T18:28:41Z) - VISTA 2.0: An Open, Data-driven Simulator for Multimodal Sensing and
Policy Learning for Autonomous Vehicles [131.2240621036954]
VISTAはオープンソースのデータ駆動シミュレータで、複数のタイプのセンサーを自律走行車に組み込む。
高忠実で実世界のデータセットを使用して、VISTAはRGBカメラ、3D LiDAR、イベントベースのカメラを表現し、シミュレートする。
センサタイプ毎に知覚制御ポリシーをトレーニングし,テストする能力を示し,フルスケールの自律走行車への展開を通じて,このアプローチのパワーを示す。
論文 参考訳(メタデータ) (2021-11-23T18:58:10Z) - DriveGAN: Towards a Controllable High-Quality Neural Simulation [147.6822288981004]
DriveGANと呼ばれる新しい高品質のニューラルシミュレータを紹介します。
DriveGANは、異なるコンポーネントを監督なしで切り離すことによって制御性を達成する。
実世界の運転データ160時間を含む複数のデータセットでdriveganをトレーニングします。
論文 参考訳(メタデータ) (2021-04-30T15:30:05Z) - Improving Generalization of Transfer Learning Across Domains Using
Spatio-Temporal Features in Autonomous Driving [45.655433907239804]
車両シミュレーションは仮想世界で学習するために使用することができ、取得したスキルは現実世界のシナリオを扱うために転送することができる。
これらの視覚的要素は、運転中の人間の意思決定に直感的に重要です。
シーンから車両の動特性を表す時間的特徴を抽出するCNN+LSTM転送学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-15T03:26:06Z) - Domain Adaptation Through Task Distillation [5.371337604556311]
ディープネットワークは、数百万もの正確に注釈付けされた画像を使って、強力な表現を構築している。
イメージは、シミュレートされたり、現実的な、興味深いドメインに存在し、ラベル付けや拡張が容易です。
これらの認識データセットを使用して、ソースとターゲットドメインをリンクし、タスク蒸留フレームワークでモデル間を転送します。
論文 参考訳(メタデータ) (2020-08-27T04:44:49Z) - Testing the Safety of Self-driving Vehicles by Simulating Perception and
Prediction [88.0416857308144]
センサシミュレーションは高価であり,領域ギャップが大きいため,センサシミュレーションに代わる方法を提案する。
我々は、自動運転車の知覚と予測システムの出力を直接シミュレートし、現実的な動き計画テストを可能にする。
論文 参考訳(メタデータ) (2020-08-13T17:20:02Z) - Virtual to Real adaptation of Pedestrian Detectors [9.432150710329607]
ViPeDは、ビデオゲームGTA V - Grand Theft Auto Vのグラフィカルエンジンで収集された新しい合成画像セットである。
本稿では,歩行者検出作業に適した2つの異なる領域適応手法を提案する。
実験によると、ViPeDでトレーニングされたネットワークは、実世界のデータでトレーニングされた検出器よりも、目に見えない現実世界のシナリオを一般化できる。
論文 参考訳(メタデータ) (2020-01-09T14:50:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。