論文の概要: SigmaRL: A Sample-Efficient and Generalizable Multi-Agent Reinforcement Learning Framework for Motion Planning

• arxiv url: http://arxiv.org/abs/2408.07644v1
• Date: Wed, 14 Aug 2024 16:16:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 12:33:27.450448
• Title: SigmaRL: A Sample-Efficient and Generalizable Multi-Agent Reinforcement Learning Framework for Motion Planning
• Title（参考訳）: SigmaRL:運動計画のための多元強化学習フレームワーク
• Authors: Jianye Xu, Pan Hu, Bassam Alrifaee,
• Abstract要約: 本稿では,マルチエージェント強化学習(RL)のサンプル効率と一般化の両立を目的とした,SigmaRLというオープンソースの分散フレームワークを紹介する。 本稿では,ほとんどの交通シナリオに適用可能な一般的な特徴に着目し,情報深度観測を設計するための5つの戦略を提案する。 交差点上でこれらの戦略を用いてRLエージェントを訓練し、新しい交差点、オンランプ、ラウンドアバウトを含む、全く見えない交通シナリオの数値実験を通してそれらの一般化を評価する。
• 参考スコア（独自算出の注目度）: 0.6668116630521236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces an open-source, decentralized framework named SigmaRL, designed to enhance both sample efficiency and generalization of multi-agent Reinforcement Learning (RL) for motion planning of connected and automated vehicles. Most RL agents exhibit a limited capacity to generalize, often focusing narrowly on specific scenarios, and are usually evaluated in similar or even the same scenarios seen during training. Various methods have been proposed to address these challenges, including experience replay and regularization. However, how observation design in RL affects sample efficiency and generalization remains an under-explored area. We address this gap by proposing five strategies to design information-dense observations, focusing on general features that are applicable to most traffic scenarios. We train our RL agents using these strategies on an intersection and evaluate their generalization through numerical experiments across completely unseen traffic scenarios, including a new intersection, an on-ramp, and a roundabout. Incorporating these information-dense observations reduces training times to under one hour on a single CPU, and the evaluation results reveal that our RL agents can effectively zero-shot generalize. Code: github.com/cas-lab-munich/SigmaRL
• Abstract（参考訳）: 本稿では,SigmaRLというオープンソースの分散化フレームワークを導入し,多エージェント強化学習(RL)の標本効率と一般化の両立を図った。 ほとんどのRLエージェントは、特定のシナリオに焦点を絞って一般化する能力が限られており、通常、トレーニング中に見られる同様のまたは同じシナリオで評価される。 経験の再現や正規化など,これらの課題に対処する様々な手法が提案されている。 しかし、RLの観測設計がサンプル効率と一般化にどのように影響するかは、まだ未調査領域である。 このギャップに対処するために、ほとんどの交通シナリオに適用可能な一般的な特徴に着目し、情報深度観測を設計するための5つの戦略を提案する。 交差点上でこれらの戦略を用いてRLエージェントを訓練し、新しい交差点、オンランプ、ラウンドアバウトを含む、全く見えない交通シナリオの数値実験を通してそれらの一般化を評価する。 これらの情報深度観測を組み込むことで、トレーニング時間を1CPUで1時間未満に短縮し、評価結果から、我々のRLエージェントが効果的にゼロショット一般化できることが判明した。 コード:github.com/cas-lab-munich/SigmaRL

関連論文リスト

• Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
  本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。 我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
  論文  参考訳（メタデータ） (2024-03-03T22:57:44Z)
• RL-ViGen: A Reinforcement Learning Benchmark for Visual Generalization [23.417092819516185]
  視覚一般化のための強化学習ベンチマークRL-ViGenを紹介する。 RL-ViGenは多種多様なタスクと幅広い一般化型を含み、より信頼性の高い結論の導出を容易にする。 我々の願望は、RL-ViGenが将来の普遍的な視覚一般化RLエージェントの創出の触媒となることである。
  論文  参考訳（メタデータ） (2023-07-15T05:45:37Z)
• A Survey of Meta-Reinforcement Learning [69.76165430793571]
  我々は,メタRLと呼ばれるプロセスにおいて,機械学習問題自体として,より優れたRLアルゴリズムを開発した。 本稿では,タスク分布の存在と各タスクに利用可能な学習予算に基づいて,高レベルでメタRL研究をクラスタ化する方法について議論する。 RL実践者のための標準ツールボックスにメタRLを組み込むことの道程について,オープンな問題を提示することによって,結論を下す。
  論文  参考訳（メタデータ） (2023-01-19T12:01:41Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Driver Dojo: A Benchmark for Generalizable Reinforcement Learning for Autonomous Driving [1.496194593196997]
  自律運転のための一般化可能な強化学習のためのベンチマークを提案する。 アプリケーション指向のベンチマークは、設計決定の影響をよりよく理解します。 我々のベンチマークは、研究者がシナリオをまたいでうまく一般化できるソリューションを提案することを奨励することを目的としている。
  論文  参考訳（メタデータ） (2022-07-23T06:29:43Z)
• Contextualize Me -- The Case for Context in Reinforcement Learning [49.794253971446416]
  文脈強化学習(cRL)は、このような変化を原則的にモデル化するためのフレームワークを提供する。 我々は,cRLが有意義なベンチマークや一般化タスクに関する構造化推論を通じて,RLのゼロショット一般化の改善にどのように貢献するかを示す。
  論文  参考訳（メタデータ） (2022-02-09T15:01:59Z)
• Cross-Trajectory Representation Learning for Zero-Shot Generalization in RL [21.550201956884532]
  高次元の観察空間上のいくつかのタスクで学んだポリシーを、トレーニング中に見えない同様のタスクに一般化する。 この課題に対する多くの有望なアプローチは、RLを2つの関数を同時に訓練するプロセスと見なしている。 本稿では,RLエージェント内で動作するクロストラジェクトリ表現学習(CTRL, Cross-Trajectory Representation Learning)を提案する。
  論文  参考訳（メタデータ） (2021-06-04T00:43:10Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。