論文の概要: Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning

• arxiv url: http://arxiv.org/abs/2312.10557v1
• Date: Sat, 16 Dec 2023 23:11:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 15:54:46.720607
• Title: Improving Environment Robustness of Deep Reinforcement Learning Approaches for Autonomous Racing Using Bayesian Optimization-based Curriculum Learning
• Title（参考訳）: ベイジアン最適化型カリキュラム学習を用いた自律レースにおける深部強化学習手法の環境ロバスト性向上
• Authors: Rohan Banerjee, Prishita Ray, Mark Campbell
• Abstract要約: 堅牢性を達成するための適切なカリキュラムを選択することは、ユーザ中心のプロセスであることを示す。 本研究では,ベイズ最適化を用いたカリキュラム回帰関数の確率論的推論が,堅牢なカリキュラムを見つける上で有望な手法であることを示す。 ベイズ最適化を用いたカリキュラムは,障害物回避を伴う自律走行領域において,バニラディープRLエージェントや手動カリキュラムよりも優れることを示した。
• 参考スコア（独自算出の注目度）: 4.32009010195029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep reinforcement learning (RL) approaches have been broadly applied to a large number of robotics tasks, such as robot manipulation and autonomous driving. However, an open problem in deep RL is learning policies that are robust to variations in the environment, which is an important condition for such systems to be deployed into real-world, unstructured settings. Curriculum learning is one approach that has been applied to improve generalization performance in both supervised and reinforcement learning domains, but selecting the appropriate curriculum to achieve robustness can be a user-intensive process. In our work, we show that performing probabilistic inference of the underlying curriculum-reward function using Bayesian Optimization can be a promising technique for finding a robust curriculum. We demonstrate that a curriculum found with Bayesian optimization can outperform a vanilla deep RL agent and a hand-engineered curriculum in the domain of autonomous racing with obstacle avoidance. Our code is available at https://github.com/PRISHIta123/Curriculum_RL_for_Driving.
• Abstract（参考訳）: 深部強化学習(Deep reinforcement learning, RL)アプローチは、ロボット操作や自律運転など、多数のロボティクスタスクに広く適用されている。 しかし、深層RLにおけるオープンな問題は、環境の変動に対して堅牢な学習ポリシーであり、そのようなシステムが現実の非構造的な環境に展開する上で重要な条件である。 カリキュラム学習は、教師付き学習領域と強化学習領域の両方において一般化性能を向上させるために適用されてきた手法である。 本研究では,ベイズ最適化を用いたカリキュラム回帰関数の確率論的推論が,堅牢なカリキュラムを見つける上で有望な手法であることを示す。 ベイズ最適化を用いたカリキュラムは,障害物回避を伴う自律走行領域において,バニラディープRLエージェントや手動カリキュラムよりも優れていることを示す。 私たちのコードはhttps://github.com/PRishita123/Curriculum_RL_for_Drivingで利用可能です。

関連論文リスト

• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Tracking Control for a Spherical Pendulum via Curriculum Reinforcement Learning [27.73555826776087]
  強化学習(RL)は、データから純粋に非自明なロボット制御法を学習することを可能にする。 本稿では,大規模並列化シミュレーションに基づいてRLでキュリキュラを自動構築するアルゴリズムを提案する。 非線形トラッキングタスクに対する状態推定と制御を共同で学習するカリキュラムRLの可能性を示す。
  論文  参考訳（メタデータ） (2023-09-25T12:48:47Z)
• Constrained Reinforcement Learning for Robotics via Scenario-Based Programming [64.07167316957533]
  DRLをベースとしたエージェントの性能を最適化し,その動作を保証することが重要である。 本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。 我々の実験は、専門家の知識を活用するために我々のアプローチを用いることで、エージェントの安全性と性能が劇的に向上することを示した。
  論文  参考訳（メタデータ） (2022-06-20T07:19:38Z)
• Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
  深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。 本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。 既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
  論文  参考訳（メタデータ） (2021-10-06T19:30:25Z)
• A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
  オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。 本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。 オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
  論文  参考訳（メタデータ） (2021-09-22T16:03:29Z)
• Experience-Based Heuristic Search: Robust Motion Planning with Deep Q-Learning [0.0]
  本稿では,Deep Q-Networkの形式でのエクスペリエンスを,探索アルゴリズムの最適ポリシとして統合する方法について述べる。 本手法は、自動運転車分野における強化学習に基づく計画の適用性について、さらなる研究を奨励する可能性がある。
  論文  参考訳（メタデータ） (2021-02-05T12:08:11Z)
• Self-Paced Deep Reinforcement Learning [42.467323141301826]
  カリキュラム強化学習(CRL)は、学習を通して調整された一連のタスクに公開することにより、エージェントの学習速度と安定性を向上させる。 実証的な成功にもかかわらず、CRLのオープンな疑問は、手動設計を避けながら、与えられた強化学習(RL)エージェントのカリキュラムを自動的に生成する方法である。 本稿では,カリキュラム生成を推論問題として解釈し,タスク上の分布を段階的に学習し,対象タスクにアプローチすることで解答を提案する。 このアプローチは、エージェントがペースを制御し、しっかりとした理論的動機を持ち、深いRLアルゴリズムと容易に統合できる自動カリキュラム生成につながる。
  論文  参考訳（メタデータ） (2020-04-24T15:48:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。