論文の概要: Privileged to Predicted: Towards Sensorimotor Reinforcement Learning for Urban Driving

• arxiv url: http://arxiv.org/abs/2309.09756v1
• Date: Mon, 18 Sep 2023 13:34:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 13:22:57.750411
• Title: Privileged to Predicted: Towards Sensorimotor Reinforcement Learning for Urban Driving
• Title（参考訳）: 予知されるプリヴィレグ:都市運転のための感覚運動強化学習を目指して
• Authors: Ege Onat \"Ozs\"uer, Bar{\i}\c{s} Akg\"un, Fatma G\"uney
• Abstract要約: 強化学習(RL)は、専門家の監督を必要とせず、運転における人間のパフォーマンスを上回る可能性がある。 センサデータからの特権表現を近似するために,視覚に基づくディープラーニングモデルを提案する。 我々は、自動運転におけるRLにおける状態表現の重要性と、将来の研究における未解決課題の指摘に光を当てた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) has the potential to surpass human performance in driving without needing any expert supervision. Despite its promise, the state-of-the-art in sensorimotor self-driving is dominated by imitation learning methods due to the inherent shortcomings of RL algorithms. Nonetheless, RL agents are able to discover highly successful policies when provided with privileged ground truth representations of the environment. In this work, we investigate what separates privileged RL agents from sensorimotor agents for urban driving in order to bridge the gap between the two. We propose vision-based deep learning models to approximate the privileged representations from sensor data. In particular, we identify aspects of state representation that are crucial for the success of the RL agent such as desired route generation and stop zone prediction, and propose solutions to gradually develop less privileged RL agents. We also observe that bird's-eye-view models trained on offline datasets do not generalize to online RL training due to distribution mismatch. Through rigorous evaluation on the CARLA simulation environment, we shed light on the significance of the state representations in RL for autonomous driving and point to unresolved challenges for future research.
• Abstract（参考訳）: 強化学習(RL)は、専門家の監督を必要とせず、運転における人間のパフォーマンスを上回る可能性がある。 その約束にもかかわらず、感覚運動の最先端の自動運転は、RLアルゴリズムの固有の欠点のために模倣学習法によって支配されている。 にもかかわらず、RLエージェントは、環境の特権的な真実表現を提供する際に、非常に成功したポリシーを発見することができる。 本研究では,この2つの間隙を橋渡しするために,都市走行のためのセンサモジュレータエージェントと特権的なrlエージェントを区別する要因について検討する。 センサデータから特権表現を近似するために,視覚に基づくディープラーニングモデルを提案する。 特に、所望の経路生成や停止ゾーン予測といったRLエージェントの成功に不可欠な状態表現の側面を特定し、より特権の低いRLエージェントを徐々に発展させるソリューションを提案する。 また、オフラインデータセットで訓練された鳥眼ビューモデルが、分布ミスマッチによるオンラインRLトレーニングに一般化されないことも観察した。 CARLAシミュレーション環境の厳密な評価を通じて、自動運転におけるRLの状態表現の重要性と、将来の研究における未解決課題の指摘に光を当てた。

関連論文リスト

• Action and Trajectory Planning for Urban Autonomous Driving with Hierarchical Reinforcement Learning [1.3397650653650457]
  本稿では,階層型強化学習法(atHRL)を用いた行動・軌道プランナを提案する。 我々は、複雑な都市運転シナリオにおける広範な実験を通して、atHRLの有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2023-06-28T07:11:02Z)
• FastRLAP: A System for Learning High-Speed Driving via Deep RL and Autonomous Practicing [71.76084256567599]
  本稿では、自律型小型RCカーを強化学習(RL)を用いた視覚的観察から積極的に駆動するシステムを提案する。 我々のシステムであるFastRLAP (faster lap)は、人間の介入なしに、シミュレーションや専門家によるデモンストレーションを必要とせず、現実世界で自律的に訓練する。 結果として得られたポリシーは、タイミングブレーキや回転の加速度などの突発的な運転スキルを示し、ロボットの動きを妨げる領域を避け、トレーニングの途中で同様の1対1のインタフェースを使用して人間のドライバーのパフォーマンスにアプローチする。
  論文  参考訳（メタデータ） (2023-04-19T17:33:47Z)
• Agent-Controller Representations: Principled Offline RL with Rich Exogenous Information [49.06422815335159]
  オフラインで収集したデータからエージェントを制御する学習は、実世界の強化学習(RL)の応用にとって不可欠である 本稿では,この問題を研究可能なオフラインRLベンチマークを提案する。 現代の表現学習技術は、ノイズが複雑で時間依存のプロセスであるデータセットで失敗する可能性がある。
  論文  参考訳（メタデータ） (2022-10-31T22:12:48Z)
• Learning to Drive Using Sparse Imitation Reinforcement Learning [0.5076419064097732]
  本稿では,知識を育成するスパース専門家と強化学習(RL)政策を組み合わせたハイブリッドエンドツーエンド制御政策を提案する。 CARLAシミュレータ内の複雑な都市シナリオにおけるSIRL手法の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2022-05-24T15:03:11Z)
• DDPG car-following model with real-world human driving experience in CARLA [0.0]
  そこで本研究では,現実世界の人間の運転から学習し,純粋なDRLエージェントよりも優れた性能を実現する2段階のDeep Reinforcement Learning(DRL)手法を提案する。 評価のために、提案した2段DRLエージェントと純粋なDRLエージェントを比較するために、異なる実世界の運転シナリオを設計した。
  論文  参考訳（メタデータ） (2021-12-29T15:22:31Z)
• GRI: General Reinforced Imitation and its Application to Vision-Based Autonomous Driving [9.030769176986057]
  General Reinforced Imitation (GRI)は、探索と専門家データから得られる利点を組み合わせた新しい手法である。 提案手法は,都市環境における視覚に基づく自動運転の大幅な改善を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-11-16T15:52:54Z)
• DriverGym: Democratising Reinforcement Learning for Autonomous Driving [75.91049219123899]
  本稿では,自律運転のための強化学習アルゴリズムを開発するオープンソース環境であるDeadGymを提案する。 DriverGymは1000時間以上の専門家ログデータへのアクセスを提供し、リアクティブおよびデータ駆動エージェントの動作をサポートする。 広範かつフレキシブルなクローズループ評価プロトコルを用いて,実世界のデータ上でRLポリシーの性能を容易に検証できる。
  論文  参考訳（メタデータ） (2021-11-12T11:47:08Z)
• Vision-Based Autonomous Car Racing Using Deep Imitative Reinforcement Learning [13.699336307578488]
  深層模倣強化学習(DIRL)は、視覚入力を使用してアジャイルな自律レースを実現する。 我々は,高忠実性運転シミュレーションと実世界の1/20スケールRC-car上での車載計算の制限により,本アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2021-07-18T00:00:48Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• Offline Reinforcement Learning from Images with Latent Space Models [60.69745540036375]
  オフライン強化学習(RL)とは、環境相互作用の静的データセットからポリシーを学習する問題を指します。 オフラインRLのためのモデルベースアルゴリズムの最近の進歩の上に構築し、それらを高次元の視覚観測空間に拡張する。 提案手法は, 実測可能であり, 未知のPOMDPにおけるELBOの下限の最大化に対応している。
  論文  参考訳（メタデータ） (2020-12-21T18:28:17Z)
• Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning [101.64598586454571]
  強化学習に基づく車両関連、リソースブロック(RB)割り当て、協調認識メッセージ(CPM)のコンテンツ選択を可能にする新しいフレームワークが提案されている。 車両全体のトレーニングプロセスをスピードアップするために、フェデレーションRLアプローチが導入されます。 その結果、フェデレーションRLはトレーニングプロセスを改善し、非フェデレーションアプローチと同じ時間内により良いポリシーを達成できることが示された。
  論文  参考訳（メタデータ） (2020-12-07T02:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。