論文の概要: Action Space Reduction Strategies for Reinforcement Learning in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2507.05251v1
• Date: Mon, 07 Jul 2025 17:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.560358
• Title: Action Space Reduction Strategies for Reinforcement Learning in Autonomous Driving
• Title（参考訳）: 自律運転における強化学習のための行動空間削減戦略
• Authors: Elahe Delavari, Feeza Khan Khanzada, Jaerock Kwon,
• Abstract要約: 強化学習(RL)は自動運転のための有望なフレームワークを提供する。 きめ細かい制御を支援するためにしばしば使われる大型で高次元のアクションスペースは、訓練の効率を阻害し、探査コストを増大させる。 我々は、自律運転におけるRLのための2つの新しい構造化された行動空間修正戦略を導入し、評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) offers a promising framework for autonomous driving by enabling agents to learn control policies through interaction with environments. However, large and high-dimensional action spaces often used to support fine-grained control can impede training efficiency and increase exploration costs. In this study, we introduce and evaluate two novel structured action space modification strategies for RL in autonomous driving: dynamic masking and relative action space reduction. These approaches are systematically compared against fixed reduction schemes and full action space baselines to assess their impact on policy learning and performance. Our framework leverages a multimodal Proximal Policy Optimization agent that processes both semantic image sequences and scalar vehicle states. The proposed dynamic and relative strategies incorporate real-time action masking based on context and state transitions, preserving action consistency while eliminating invalid or suboptimal choices. Through comprehensive experiments across diverse driving routes, we show that action space reduction significantly improves training stability and policy performance. The dynamic and relative schemes, in particular, achieve a favorable balance between learning speed, control precision, and generalization. These findings highlight the importance of context-aware action space design for scalable and reliable RL in autonomous driving tasks.
• Abstract（参考訳）: 強化学習(RL)は、エージェントが環境とのインタラクションを通じて制御ポリシーを学習できるようにすることにより、自律運転のための有望なフレームワークを提供する。 しかし、細粒度制御を支援するためにしばしば用いられる大規模かつ高次元のアクション空間は、訓練効率を阻害し、探査コストを増大させる。 本研究では,自律走行におけるRLの動的マスキングと相対的行動空間縮小という,新しい2つの行動空間修正戦略を導入,評価する。 これらのアプローチは、政策学習とパフォーマンスへの影響を評価するために、固定化スキームとフルアクション空間ベースラインに対して体系的に比較される。 我々のフレームワークは、セマンティックイメージシーケンスとスカラー車両状態の両方を処理するマルチモーダル・プロキシ・ポリシー・オプティマイズ・エージェントを活用している。 提案した動的および相対的な戦略は、コンテキストと状態遷移に基づくリアルタイムなアクションマスキングを取り入れ、無効または最適以下の選択を排除しながら、アクション一貫性を維持する。 各種走行経路の総合的な実験を通じて,動作空間の低減がトレーニング安定性と政策性能を著しく向上させることを示す。 動的および相対的なスキームは、特に、学習速度、制御精度、一般化の間の好適なバランスを達成する。 これらの知見は、自律走行タスクにおけるスケーラブルで信頼性の高いRLのためのコンテキスト対応アクション空間設計の重要性を強調している。

関連論文リスト

• Multi-Timescale Hierarchical Reinforcement Learning for Unified Behavior and Control of Autonomous Driving [4.750705843012836]
  自律運転のための多段階階層型強化学習手法を提案する。 高レベルかつ低レベルなRLポリシーは、長期動作誘導と短時間制御コマンドを生成するために統一的に訓練される。 提案手法はAD性能を大幅に向上させ,運転効率,動作の整合性,安全性を効果的に向上させる。
  論文  参考訳（メタデータ） (2025-06-30T12:17:42Z)
• TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
  TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。 自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
  論文  参考訳（メタデータ） (2025-02-03T14:22:03Z)
• Hybrid Action Based Reinforcement Learning for Multi-Objective Compatible Autonomous Driving [9.39122455540358]
  強化学習(Reinforcement Learning, RL)は, 自律運転における意思決定と制御の問題を解く上で, 優れた性能を示した。 ドライビングは多属性問題であり、現在のRL法における多目的互換性を実現する上での課題となっている。 マルチオブジェクト対応自律運転のためのハイブリッドパラメタライズアクションを用いた多目的アンサンブル・クリティカル強化学習法を提案する。
  論文  参考訳（メタデータ） (2025-01-14T13:10:13Z)
• From Imitation to Exploration: End-to-end Autonomous Driving based on World Model [24.578178308010912]
  RAMBLEは、意思決定を駆動するエンド・ツー・エンドの世界モデルベースのRL方式である。 複雑な動的トラフィックシナリオを処理できる。 CARLA Leaderboard 1.0では、ルート完了率の最先端のパフォーマンスを達成し、CARLA Leaderboard 2.0では38のシナリオをすべて完了している。
  論文  参考訳（メタデータ） (2024-10-03T06:45:59Z)
• SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
  制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。 提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。 複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
  論文  参考訳（メタデータ） (2023-12-31T04:14:43Z)
• Unified Automatic Control of Vehicular Systems with Reinforcement Learning [64.63619662693068]
  本稿では,車載マイクロシミュレーションの合理化手法について述べる。 最小限の手動設計で高性能な制御戦略を発見する。 この研究は、波動緩和、交通信号、ランプ計測に類似した多くの創発的挙動を明らかにしている。
  論文  参考訳（メタデータ） (2022-07-30T16:23:45Z)
• Learning Interaction-aware Guidance Policies for Motion Planning in Dense Traffic Scenarios [8.484564880157148]
  本稿では,高密度交通シナリオにおける対話型モーションプランニングのための新しい枠組みを提案する。 我々は,他車両の協調性に関する国際的ガイダンスを提供するインタラクション対応政策であるDeep Reinforcement Learning (RL) を通じて学習することを提案する。 学習されたポリシーは、ローカル最適化ベースのプランナーを推論し、対話的な振る舞いで誘導し、他の車両が収まらない場合に安全を維持しながら、密集したトラフィックに積極的にマージする。
  論文  参考訳（メタデータ） (2021-07-09T16:43:12Z)
• ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for Mobile Manipulation [99.2543521972137]
  ReLMoGenは、サブゴールを予測するための学習されたポリシーと、これらのサブゴールに到達するために必要な動作を計画し実行するためのモーションジェネレータを組み合わせたフレームワークである。 本手法は,フォトリアリスティック・シミュレーション環境における7つのロボットタスクの多種多様なセットをベンチマークする。 ReLMoGenは、テスト時に異なるモーションジェネレータ間で顕著な転送可能性を示し、実際のロボットに転送する大きな可能性を示している。
  論文  参考訳（メタデータ） (2020-08-18T08:05:15Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。