論文の概要: Constrained Reinforcement Learning for Robotics via Scenario-Based Programming

• arxiv url: http://arxiv.org/abs/2206.09603v1
• Date: Mon, 20 Jun 2022 07:19:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 19:25:41.775458
• Title: Constrained Reinforcement Learning for Robotics via Scenario-Based Programming
• Title（参考訳）: シナリオベースプログラミングによるロボットの制約強化学習
• Authors: Davide Corsi, Raz Yerushalmi, Guy Amir, Alessandro Farinelli, David Harel, Guy Katz
• Abstract要約: DRLをベースとしたエージェントの性能を最適化し,その動作を保証することが重要である。 本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。 我々の実験は、専門家の知識を活用するために我々のアプローチを用いることで、エージェントの安全性と性能が劇的に向上することを示した。
• 参考スコア（独自算出の注目度）: 64.07167316957533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep reinforcement learning (DRL) has achieved groundbreaking successes in a wide variety of robotic applications. A natural consequence is the adoption of this paradigm for safety-critical tasks, where human safety and expensive hardware can be involved. In this context, it is crucial to optimize the performance of DRL-based agents while providing guarantees about their behavior. This paper presents a novel technique for incorporating domain-expert knowledge into a constrained DRL training loop. Our technique exploits the scenario-based programming paradigm, which is designed to allow specifying such knowledge in a simple and intuitive way. We validated our method on the popular robotic mapless navigation problem, in simulation, and on the actual platform. Our experiments demonstrate that using our approach to leverage expert knowledge dramatically improves the safety and the performance of the agent.
• Abstract（参考訳）: 深部強化学習(DRL)は様々なロボット応用において画期的な成功を収めた。 自然な結果として、人間の安全と高価なハードウェアが関与する安全クリティカルなタスクにこのパラダイムが採用される。 この文脈では、DRLをベースとしたエージェントの性能を最適化し、その動作を保証することが重要である。 本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。 本手法は,このような知識をシンプルかつ直感的に指定できるシナリオベースのプログラミングパラダイムを活用する。 提案手法は,ロボットによるマップレスナビゲーションの問題,シミュレーション,実際のプラットフォーム上で検証した。 実験の結果,専門家の知識を活用すれば,エージェントの安全性と性能が劇的に向上することがわかった。

関連論文リスト

• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning [85.21378553454672]
  筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。 我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。 これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
  論文  参考訳（メタデータ） (2024-01-29T10:01:10Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• Verifying Learning-Based Robotic Navigation Systems [61.01217374879221]
  有効モデル選択に現代検証エンジンをどのように利用できるかを示す。 具体的には、検証を使用して、最適下行動を示す可能性のあるポリシーを検出し、除外する。 我々の研究は、現実世界のロボットにおける準最適DRLポリシーを認識するための検証バックエンドの使用を初めて実証したものである。
  論文  参考訳（メタデータ） (2022-05-26T17:56:43Z)
• Scenario-Assisted Deep Reinforcement Learning [3.5036351567024275]
  本稿では,強化学習訓練プロセスの強化手法を提案する。 これにより、人間のエンジニアは、専門家の知識を直接貢献することができ、訓練中のエージェントが関連する制約に従う可能性が高まる。 本手法は,インターネット混雑制御領域のケーススタディを用いて評価する。
  論文  参考訳（メタデータ） (2022-02-09T08:46:13Z)
• Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives [92.0321404272942]
  強化学習は汎用ロボットシステムの構築に使用することができる。 しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。 本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。 動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-28T17:59:30Z)
• Human-Aware Robot Navigation via Reinforcement Learning with Hindsight Experience Replay and Curriculum Learning [28.045441768064215]
  強化学習アプローチは、シーケンシャルな意思決定問題を解決する優れた能力を示している。 本研究では,実演データを使わずにRLエージェントを訓練する作業を検討する。 密集層における最適なナビゲーションポリシーを効率的に学習するために,後視体験リプレイ(HER)とカリキュラム学習(CL)技術をRLに組み込むことを提案する。
  論文  参考訳（メタデータ） (2021-10-09T13:18:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。