論文の概要: Extensive Exploration in Complex Traffic Scenarios using Hierarchical Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2501.14992v1
• Date: Sat, 25 Jan 2025 00:00:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:54:24.791213
• Title: Extensive Exploration in Complex Traffic Scenarios using Hierarchical Reinforcement Learning
• Title（参考訳）: 階層的強化学習を用いた複雑な交通シナリオの探索
• Authors: Zhihao Zhang, Ekim Yurtsever, Keith A. Redmill,
• Abstract要約: 我々の研究は、複雑な意思決定問題を管理可能なサブタスクに効率的に分解する先駆的な階層的枠組みを導入する。 高レベルコントローラと低レベルコントローラを別々にトレーニングする2段階のトレーニングプロセスを採用しています。 高レベルコントローラは、長期遅延報酬による探索可能性の向上を示し、低レベルコントローラは、短時間の報酬を使用して、縦方向および横方向の制御機能を提供する。
• 参考スコア（独自算出の注目度）: 7.380119332658803
• License:
• Abstract: Developing an automated driving system capable of navigating complex traffic environments remains a formidable challenge. Unlike rule-based or supervised learning-based methods, Deep Reinforcement Learning (DRL) based controllers eliminate the need for domain-specific knowledge and datasets, thus providing adaptability to various scenarios. Nonetheless, a common limitation of existing studies on DRL-based controllers is their focus on driving scenarios with simple traffic patterns, which hinders their capability to effectively handle complex driving environments with delayed, long-term rewards, thus compromising the generalizability of their findings. In response to these limitations, our research introduces a pioneering hierarchical framework that efficiently decomposes intricate decision-making problems into manageable and interpretable subtasks. We adopt a two step training process that trains the high-level controller and low-level controller separately. The high-level controller exhibits an enhanced exploration potential with long-term delayed rewards, and the low-level controller provides longitudinal and lateral control ability using short-term instantaneous rewards. Through simulation experiments, we demonstrate the superiority of our hierarchical controller in managing complex highway driving situations.
• Abstract（参考訳）: 複雑な交通環境をナビゲートできる自動走行システムを開発することは、依然として困難な課題である。 ルールベースや教師付き学習ベースの方法とは異なり、Deep Reinforcement Learning(DRL)ベースのコントローラはドメイン固有の知識やデータセットの必要性を排除し、さまざまなシナリオへの適応性を提供する。 それにもかかわらず、DRLベースのコントローラに関する既存の研究の共通的な制限は、単純な交通パターンでシナリオを駆動することに集中しているため、複雑な運転環境を遅延した長期的報酬で効果的に処理することができず、その結果の一般化性を損なうことになる。 これらの制約に対応するため、我々は複雑な意思決定問題を管理可能なサブタスクと解釈可能なサブタスクに効率的に分解する先駆的な階層的枠組みを導入する。 高レベルコントローラと低レベルコントローラを別々にトレーニングする2段階のトレーニングプロセスを採用しています。 高レベルコントローラは、長期遅延報酬による探索可能性の向上を示し、低レベルコントローラは、短時間の報酬を使用して、縦方向および横方向の制御機能を提供する。 シミュレーション実験により,複雑な高速道路走行状況の管理における階層型制御器の優位性を実証した。

関連論文リスト

• TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
  TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。 自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
  論文  参考訳（メタデータ） (2025-02-03T14:22:03Z)
• SCoTT: Wireless-Aware Path Planning with Vision Language Models and Strategic Chains-of-Thought [78.53885607559958]
  複雑な無線環境における経路計画を実現するために,視覚言語モデル(VLM)を用いた新しい手法を提案する。 この目的のために、実世界の無線レイトレーシングデータを用いたデジタルツインからの洞察を探索する。 その結果, SCoTT はDP-WA* と比較して非常に近い平均経路ゲインを実現し, 同時に一貫した経路長が得られることがわかった。
  論文  参考訳（メタデータ） (2024-11-27T10:45:49Z)
• AD-H: Autonomous Driving with Hierarchical Agents [64.49185157446297]
  我々は,ハイレベル命令と低レベル制御信号を中間言語駆動の命令に接続することを提案する。 我々は、AD-Hという階層型マルチエージェント駆動システムを用いて、このアイデアを実装した。
  論文  参考訳（メタデータ） (2024-06-05T17:25:46Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• Generalizing Cooperative Eco-driving via Multi-residual Task Learning [6.864745785996583]
  MRTL(Multi-Residual Task Learning)はマルチタスク学習に基づく汎用的な学習フレームワークである。 MRTLは制御を従来の制御法と残留項によって効果的に解決される名目成分に分解する。 我々は、システム制御の手段として自律走行車を用いた混合交通における艦隊レベルの排出削減にMRTLを使用している。
  論文  参考訳（メタデータ） (2024-03-07T05:25:34Z)
• Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks [0.24578723416255746]
  ロボット工学では、現代の戦略は学習に基づくもので、複雑なブラックボックスの性質と解釈可能性の欠如が特徴である。 本稿では, 深部強化学習(DRL)に基づく衝突のない軌道プランナと, 自動調整型低レベル制御戦略を統合することを提案する。
  論文  参考訳（メタデータ） (2024-02-04T15:54:03Z)
• Learning to Fly in Seconds [7.259696592534715]
  カリキュラム学習と高度に最適化されたシミュレータが,サンプルの複雑さを増し,学習時間の短縮につながることを示す。 我々のフレームワークは、コンシューマ級ラップトップで18秒のトレーニングをした後、直接制御するためのSimulation-to-Real(Sim2Real)転送を可能にする。
  論文  参考訳（メタデータ） (2023-11-22T01:06:45Z)
• Rethinking Decision Transformer via Hierarchical Reinforcement Learning [54.3596066989024]
  決定変換器(Decision Transformer, DT)は、強化学習(RL)における変換器アーキテクチャの最近の進歩を活用する革新的なアルゴリズムである。 本稿では,階層RLのレンズを用いたシーケンシャル意思決定のための汎用シーケンスモデリングフレームワークを提案する。 DTは、高レベルかつ低レベルなポリシーを選択することで、このフレームワークの特別なケースとして現れ、これらの選択の潜在的な失敗について議論する。
  論文  参考訳（メタデータ） (2023-11-01T03:32:13Z)
• Tackling Real-World Autonomous Driving using Deep Reinforcement Learning [63.3756530844707]
  本研究では,加速と操舵角度を予測するニューラルネットワークを学習するモデルレスディープ強化学習プランナを提案する。 実際の自動運転車にシステムをデプロイするために、我々は小さなニューラルネットワークで表されるモジュールも開発する。
  論文  参考訳（メタデータ） (2022-07-05T16:33:20Z)
• Residual Feedback Learning for Contact-Rich Manipulation Tasks with Uncertainty [22.276925045008788]
  emphglsrplは強化学習(RL)で既存のコントローラを改善するための定式化を提供する 位置・方向の不確実性を考慮したコンタクトリッチペグ挿入作業において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-08T13:06:35Z)
• Trajectory Planning for Autonomous Vehicles Using Hierarchical Reinforcement Learning [21.500697097095408]
  不確実かつ動的条件下で安全な軌道を計画することは、自律運転問題を著しく複雑にする。 RRT(Rapidly Exploring Random Trees)のような現在のサンプリングベース手法は、高い計算コストのため、この問題には理想的ではない。 軌道計画のための階層型強化学習構造とPID(Proportional-Integral-Derivative)コントローラを提案する。
  論文  参考訳（メタデータ） (2020-11-09T20:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。