論文の概要: Evolutionary Curriculum Training for DRL-Based Navigation Systems
- arxiv url: http://arxiv.org/abs/2306.08870v1
- Date: Thu, 15 Jun 2023 05:56:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 16:21:46.135976
- Title: Evolutionary Curriculum Training for DRL-Based Navigation Systems
- Title（参考訳）: DRLに基づくナビゲーションシステムのための進化的カリキュラムトレーニング
- Authors: Max Asselmeier, Zhaoyi Li, Kelin Yu, Danfei Xu
- Abstract要約: 本稿では,衝突回避問題に対処するための進化的カリキュラムトレーニングという新しい手法を提案する。
進化的カリキュラムトレーニングの第一の目的は、様々なシナリオにおいて衝突回避モデルの能力を評価し、そのスキルを不十分にするためにカリキュラムを作成することである。
我々は,この進化的学習環境がより高い成功率と平均衝突回数の低下につながるという仮説を検証するために,5つの構造化環境にまたがってモデルの性能をベンチマークした。
- 参考スコア（独自算出の注目度）: 5.8633910194112335
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, Deep Reinforcement Learning (DRL) has emerged as a promising
method for robot collision avoidance. However, such DRL models often come with
limitations, such as adapting effectively to structured environments containing
various pedestrians. In order to solve this difficulty, previous research has
attempted a few approaches, including training an end-to-end solution by
integrating a waypoint planner with DRL and developing a multimodal solution to
mitigate the drawbacks of the DRL model. However, these approaches have
encountered several issues, including slow training times, scalability
challenges, and poor coordination among different models. To address these
challenges, this paper introduces a novel approach called evolutionary
curriculum training to tackle these challenges. The primary goal of
evolutionary curriculum training is to evaluate the collision avoidance model's
competency in various scenarios and create curricula to enhance its
insufficient skills. The paper introduces an innovative evaluation technique to
assess the DRL model's performance in navigating structured maps and avoiding
dynamic obstacles. Additionally, an evolutionary training environment generates
all the curriculum to improve the DRL model's inadequate skills tested in the
previous evaluation. We benchmark the performance of our model across five
structured environments to validate the hypothesis that this evolutionary
training environment leads to a higher success rate and a lower average number
of collisions. Further details and results at our project website.
- Abstract（参考訳）: 近年,ロボット衝突回避のための有望な手法として,深層強化学習(DRL)が登場している。
しかし、そのようなDRLモデルは、様々な歩行者を含む構造された環境に効果的に適応するなど、しばしば制限が伴う。
この問題を解決するために、従来の研究では、DRLにウェイポイントプランナーを統合することによってエンドツーエンドソリューションのトレーニングや、DRLモデルの欠点を軽減するマルチモーダルソリューションの開発など、いくつかのアプローチが試みられている。
しかしながら、これらのアプローチは、遅いトレーニング時間、スケーラビリティの課題、異なるモデル間の調整不良など、いくつかの問題に直面している。
本稿では,これらの課題に取り組むために,進化的カリキュラムトレーニングと呼ばれる新しいアプローチを提案する。
進化的カリキュラムトレーニングの主な目標は、様々なシナリオにおける衝突回避モデルの能力を評価し、その不十分なスキルを向上させるためのカリキュラムを作成することである。
本稿では,構造化地図のナビゲートと動的障害回避におけるdrlモデルの性能評価手法を提案する。
さらに、進化的学習環境は、以前の評価で検証されたDRLモデルの不十分なスキルを改善するために、すべてのカリキュラムを生成する。
我々は,この進化的学習環境がより高い成功率と低い平均衝突数をもたらすという仮説を検証するために,5つの構造化環境におけるモデルの性能をベンチマークする。
さらなる詳細と成果は、プロジェクトのwebサイトにある。
関連論文リスト
- Avoiding mode collapse in diffusion models fine-tuned with reinforcement learning [0.0]
強化学習(RL)による微調整基礎モデルは、下流の目標に整合する上で有望であることが証明されている。
拡散モデル (DM) の階層的性質を生かし, 各エポックでRL法で動的に訓練する。
HRFで訓練したモデルは、下流タスクにおける多様性の保存性を向上し、微調整の堅牢性を高め、平均報酬を損なうことなく達成できることが示される。
論文 参考訳（メタデータ） (2024-10-10T19:06:23Z) - Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。
具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。
実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
論文 参考訳（メタデータ） (2024-05-30T23:20:23Z) - PASTA: Pretrained Action-State Transformer Agents [10.654719072766495]
自己教師型学習は、様々なコンピューティング領域において革命的なパラダイムシフトをもたらした。
最近のアプローチでは、大量のラベルのないデータに基づいて、トランスフォーマーモデルを事前訓練する。
強化学習において、研究者は最近これらのアプローチに適応し、専門家の軌道で事前訓練されたモデルを開発した。
論文 参考訳（メタデータ） (2023-07-20T15:09:06Z) - Deploying Offline Reinforcement Learning with Human Feedback [34.11507483049087]
強化学習は、現実世界のアプリケーションで意思決定タスクを約束している。
1つの実践的なフレームワークは、オフラインデータセットからパラメータ化されたポリシーモデルをトレーニングし、それらをオンライン環境にデプロイすることである。
このアプローチは、オフライントレーニングが完璧でない可能性があるため、危険なアクションを取る可能性のあるRLモデルのパフォーマンスが低下する可能性があるため、リスクが伴う可能性がある。
我々は、人間がRLモデルを監督し、オンラインデプロイメントフェーズで追加のフィードバックを提供する代替フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T12:13:16Z) - On the Feasibility of Cross-Task Transfer with Model-Based Reinforcement
Learning [45.73223325256312]
最新のモデルベースRLアルゴリズムで学習した内部モデルが、新しい明らかに異なるタスクを高速に解くために活用できるかどうかを考察する。
我々は,学習世界のモデルのスケーラブルな事前学習と微調整が可能な,サンプル効率の高いオンラインRLのためのフレームワークであるModel-Based Cross-Task Transfer (XTRA)を提案する。
論文 参考訳（メタデータ） (2022-10-19T17:57:06Z) - Training and Evaluation of Deep Policies using Reinforcement Learning
and Generative Models [67.78935378952146]
GenRLはシーケンシャルな意思決定問題を解決するためのフレームワークである。
強化学習と潜在変数生成モデルの組み合わせを利用する。
最終方針訓練の性能に最も影響を与える生成モデルの特徴を実験的に決定する。
論文 参考訳（メタデータ） (2022-04-18T22:02:32Z) - DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。
タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
論文 参考訳（メタデータ） (2022-04-03T02:29:11Z) - Pessimistic Model Selection for Offline Deep Reinforcement Learning [56.282483586473816]
深層強化学習(DRL)は多くのアプリケーションにおいてシーケンシャルな意思決定問題を解決する大きな可能性を示している。
主要な障壁の1つは、DRLが学んだ政策の一般化性の低下につながる過度に適合する問題である。
理論的保証のあるオフラインDRLに対する悲観的モデル選択(PMS)手法を提案する。
論文 参考訳（メタデータ） (2021-11-29T06:29:49Z) - Few-shot Quality-Diversity Optimization [50.337225556491774]
品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。
本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。
ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
論文 参考訳（メタデータ） (2021-09-14T17:12:20Z) - Bridging Imagination and Reality for Model-Based Deep Reinforcement
Learning [72.18725551199842]
BrIdging Reality and Dream (BIRD) と呼ばれる新しいモデルに基づく強化学習アルゴリズムを提案する。
虚構と実軌跡の相互情報を最大化し、虚構から学んだ政策改善を実軌跡に容易に一般化できるようにする。
提案手法は, モデルベース計画のサンプル効率を向上し, 挑戦的なビジュアル制御ベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2020-10-23T03:22:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。