Fugu-MT 論文翻訳(概要): Fully End-to-end Autonomous Driving with Semantic Depth Cloud Mapping and Multi-Agent

論文の概要: Fully End-to-end Autonomous Driving with Semantic Depth Cloud Mapping and Multi-Agent

arxiv url: http://arxiv.org/abs/2204.05513v1
Date: Tue, 12 Apr 2022 03:57:01 GMT
ステータス: 処理完了
システム内更新日: 2022-04-14 01:48:25.792480
Title: Fully End-to-end Autonomous Driving with Semantic Depth Cloud Mapping and Multi-Agent
Title（参考訳）: 意味深度クラウドマッピングとマルチエージェントによる完全エンドツーエンド自動運転
Authors: Oskar Natan and Jun Miura
Abstract要約: 本稿では,エンド・ツー・エンドとマルチタスクの学習方法を用いて学習した新しいディープラーニングモデルを提案する。このモデルは,CARLAシミュレータ上で,現実の環境を模倣するために,通常の状況と異なる天候のシナリオを用いて評価する。
参考スコア（独自算出の注目度）: 2.512827436728378
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Focusing on the task of point-to-point navigation for an autonomous driving vehicle, we propose a novel deep learning model trained with end-to-end and multi-task learning manners to perform both perception and control tasks simultaneously. The model is used to drive the ego vehicle safely by following a sequence of routes defined by the global planner. The perception part of the model is used to encode high-dimensional observation data provided by an RGBD camera while performing semantic segmentation, semantic depth cloud (SDC) mapping, and traffic light state and stop sign prediction. Then, the control part decodes the encoded features along with additional information provided by GPS and speedometer to predict waypoints that come with a latent feature space. Furthermore, two agents are employed to process these outputs and make a control policy that determines the level of steering, throttle, and brake as the final action. The model is evaluated on CARLA simulator with various scenarios made of normal-adversarial situations and different weathers to mimic real-world conditions. In addition, we do a comparative study with some recent models to justify the performance in multiple aspects of driving. Moreover, we also conduct an ablation study on SDC mapping and multi-agent to understand their roles and behavior. As a result, our model achieves the highest driving score even with fewer parameters and computation load. To support future studies, we share our codes at https://github.com/oskarnatan/end-to-end-driving.
Abstract（参考訳）: 自律走行車におけるポイント・ツー・ポイント・ナビゲーションの課題に着目し,エンド・ツー・エンドとマルチタスクの学習方法で訓練された新しいディープラーニングモデルを提案する。このモデルは、グローバルプランナーによって定義された一連のルートに従って、エゴ車両を安全に駆動するために使用される。モデルの知覚部は、セマンティックセグメンテーション、セマンティック深度クラウド(sdc)マッピング、トラヒックライト状態およびストップサイン予測を実行しながら、rgbdカメラにより提供される高次元の観測データをエンコードするために使用される。そして、制御部は、エンコードされた特徴とgpsおよび速度計によって提供される追加情報とをデコードし、潜在的な特徴空間を持つ経路ポイントを予測する。さらに、2つのエージェントがこれらの出力を処理し、最終動作としてステアリング、スロットル、ブレーキのレベルを決定する制御ポリシーを作成する。このモデルは,CARLAシミュレータ上で,現実の環境を模倣するために,通常の状況と異なる天候のシナリオを用いて評価する。さらに、運転の様々な側面のパフォーマンスを正当化するために、最近のモデルをいくつか比較研究している。さらに,sdcマッピングとマルチエージェントを用いたアブレーション研究を行い,その役割と行動について検討した。その結果, パラメータや計算負荷が少なくても, 最高運転スコアが得られることがわかった。今後の研究をサポートするために、私たちはhttps://github.com/oskarnatan/end-to-end-driving.comでコードを共有します。

関連論文リスト

DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving [69.82743399946371]
DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
論文参考訳（メタデータ） (2023-12-14T18:59:05Z)
Trajeglish: Traffic Modeling as Next-Token Prediction [67.28197954427638]
自動運転開発における長年の課題は、記録された運転ログからシードされた動的運転シナリオをシミュレートすることだ。車両、歩行者、サイクリストが運転シナリオでどのように相互作用するかをモデル化するために、離散シーケンスモデリングのツールを適用します。我々のモデルはSim Agents Benchmarkを上回り、リアリズムメタメトリックの先行作業の3.3%、インタラクションメトリックの9.9%を上回ります。
論文参考訳（メタデータ） (2023-12-07T18:53:27Z)
LeTFuser: Light-weight End-to-end Transformer-Based Sensor Fusion for Autonomous Driving with Multi-Task Learning [16.241116794114525]
本稿では,複数のRGB-Dカメラ表現を融合させるアルゴリズムであるLeTFuserを紹介する。認識と制御を同時に行うためには,マルチタスク学習を利用する。
論文参考訳（メタデータ） (2023-10-19T20:09:08Z)
Video Killed the HD-Map: Predicting Multi-Agent Behavior Directly From Aerial Images [14.689298253430568]
本稿では,最小限のアノテーションを必要とする航空画像ベースマップ(AIM)の表現を提案し,歩行者や車両などの交通機関に道路状況情報を提供する。以上の結果から,特にAIM表現を用いた歩行者の競合的マルチエージェント軌道予測性能が示された。
論文参考訳（メタデータ） (2023-05-19T17:48:01Z)
TrafficBots: Towards World Models for Autonomous Driving Simulation and Motion Prediction [149.5716746789134]
我々は,データ駆動型交通シミュレーションを世界モデルとして定式化できることを示した。動作予測とエンドツーエンドの運転に基づくマルチエージェントポリシーであるTrafficBotsを紹介する。オープンモーションデータセットの実験は、TrafficBotsが現実的なマルチエージェント動作をシミュレートできることを示している。
論文参考訳（メタデータ） (2023-03-07T18:28:41Z)
CARNet: A Dynamic Autoencoder for Learning Latent Dynamics in Autonomous Driving Tasks [11.489187712465325]
自律運転システムは、世界の抽象的な記述を形成するために、様々なセンサから収集した情報を効果的に活用すべきである。オートエンコーダのようなディープラーニングモデルは、受信データのストリームからコンパクトな潜在表現を学習できるため、その目的のために使用できる。この研究は、自動エンコーダとリカレントニューラルネットワークを組み合わせて現在の潜伏表現を学習する、複合dynAmicautoencodeRネットワークアーキテクチャであるCARNetを提案する。
論文参考訳（メタデータ） (2022-05-18T04:15:42Z)
Predicting Take-over Time for Autonomous Driving with Real-World Data: Robust Data Augmentation, Models, and Evaluation [11.007092387379076]
我々は、運転者向けカメラビューで動作するコンピュータビジョンアルゴリズムによって作成される中高レベルの機能で動作するテイクオーバー時間(TOT)モデルを開発し、訓練する。拡張データでサポートされたTOTモデルを用いて,遅延なく連続的なテイクオーバー時間を推定できることを示す。
論文参考訳（メタデータ） (2021-07-27T16:39:50Z)
Autonomous Vehicles that Alert Humans to Take-Over Controls: Modeling with Real-World Data [11.007092387379076]
本研究は,運転状態の文脈的意味的表現の開発に焦点を当てた。自律型エージェントの乗っ取り制御を参加者に指示する大規模な実世界制御データスタディを実施します。これらのテイクオーバーイベントは、複数のドライバー向けカメラを使用してキャプチャされ、ラベル付けされると、コントロール遷移のデータセットと対応するテイクオーバー時間(tot)が生成される。このデータセットを拡張後、異なるドライバ向けカメラビューで動作するコンピュータビジョンアルゴリズムが生成する低レベルと中レベルの機能でシーケンシャルに動作するtotモデルを開発・訓練する。
論文参考訳（メタデータ） (2021-04-23T09:16:53Z)
Multi-Modal Fusion Transformer for End-to-End Autonomous Driving [59.60483620730437]
画像表現とLiDAR表現を注目で統合する,新しいマルチモードフュージョントランスフォーマであるTransFuserを提案する。本手法は, 衝突を76%低減しつつ, 最先端駆動性能を実現する。
論文参考訳（メタデータ） (2021-04-19T11:48:13Z)
A Driving Behavior Recognition Model with Bi-LSTM and Multi-Scale CNN [59.57221522897815]
運転行動認識のための軌道情報に基づくニューラルネットワークモデルを提案する。提案手法を公開BLVDデータセット上で評価し,満足な性能を実現する。
論文参考訳（メタデータ） (2021-03-01T06:47:29Z)
IntentNet: Learning to Predict Intention from Raw Sensor Data [86.74403297781039]
本論文では,LiDARセンサが生成する3次元点群と,環境の動的なマップの両方を利用するワンステージ検出器と予測器を開発した。当社のマルチタスクモデルは、それぞれの別々のモジュールよりも高い精度を実現し、計算を節約します。
論文参考訳（メタデータ） (2021-01-20T00:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。