論文の概要: Safe Reinforcement Learning via Curriculum Induction

• arxiv url: http://arxiv.org/abs/2006.12136v2
• Date: Thu, 21 Jan 2021 14:32:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 05:30:06.442410
• Title: Safe Reinforcement Learning via Curriculum Induction
• Title（参考訳）: カリキュラム誘導による安全強化学習
• Authors: Matteo Turchetta, Andrey Kolobov, Shital Shah, Andreas Krause, Alekh Agarwal
• Abstract要約: 安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。 既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。 本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
• 参考スコア（独自算出の注目度）: 94.67835258431202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In safety-critical applications, autonomous agents may need to learn in an environment where mistakes can be very costly. In such settings, the agent needs to behave safely not only after but also while learning. To achieve this, existing safe reinforcement learning methods make an agent rely on priors that let it avoid dangerous situations during exploration with high probability, but both the probabilistic guarantees and the smoothness assumptions inherent in the priors are not viable in many scenarios of interest such as autonomous driving. This paper presents an alternative approach inspired by human teaching, where an agent learns under the supervision of an automatic instructor that saves the agent from violating constraints during learning. In this model, we introduce the monitor that neither needs to know how to do well at the task the agent is learning nor needs to know how the environment works. Instead, it has a library of reset controllers that it activates when the agent starts behaving dangerously, preventing it from doing damage. Crucially, the choices of which reset controller to apply in which situation affect the speed of agent learning. Based on observing agents' progress, the teacher itself learns a policy for choosing the reset controllers, a curriculum, to optimize the agent's final policy reward. Our experiments use this framework in two environments to induce curricula for safe and efficient learning.
• Abstract（参考訳）: 安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。 このような設定では、エージェントは学習中だけでなく、後にも安全に振る舞う必要がある。 これを実現するために、既存の安全強化学習手法は、高い確率で探索中の危険な状況を避けるための事前条件に依存するが、確率的保証と事前に内在する滑らかさの仮定の両方が、自動運転のような多くの利害のシナリオでは実現できない。 本稿では,エージェントが学習中に制約を犯すのを防ぐ自動インストラクターの監督下で学習する,人間の指導にインスパイアされた代替手法を提案する。 本モデルでは,エージェントが学習しているタスクにおいて,その動作方法を知る必要も,環境の動作方法を知る必要もないモニタを導入する。 代わりに、エージェントが危険な振る舞いを始めると起動するリセットコントローラのライブラリがあり、損傷を防止している。 重要なことは、エージェント学習の速度に影響を及ぼす状況において、リセットコントローラが適用すべき選択である。 エージェントの進捗の観察に基づいて、教師は、エージェントの最終方針報酬を最適化するカリキュラムであるリセットコントローラを選択するためのポリシーを学習する。 実験ではこのフレームワークを2つの環境で使用し,安全かつ効率的な学習のためにカリキュラムを誘導する。

関連論文リスト

• Efficient Open-world Reinforcement Learning via Knowledge Distillation and Autonomous Rule Discovery [5.680463564655267]
  ルール駆動のディープラーニングエージェント(RDQ)がフレームワークの実装の可能な1つだ。 RDQは,世界との対話において,タスク固有のルールを抽出することに成功した。 実験では,RDQエージェントはベースラインエージェントよりも新規性に非常に耐性があることが示されている。
  論文  参考訳（メタデータ） (2023-11-24T04:12:50Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
  本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。 このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。 提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
  論文  参考訳（メタデータ） (2022-12-14T03:11:25Z)
• Automatically Learning Fallback Strategies with Model-Free Reinforcement Learning in Safety-Critical Driving Scenarios [9.761912672523977]
  本稿では, モデルレス強化学習(RL)エージェントに対して, 環境内の複数の動作モードを捉えるための原則的アプローチを提案する。 我々は、報酬モデルに擬似報酬項を導入し、最適政策によって特権付けられた領域とは異なる国家空間の領域への探索を奨励する。 我々は、トレーニング中に見逃されたであろう有用なポリシーを学習でき、制御アルゴリズムの実行時に使用できないことを示す。
  論文  参考訳（メタデータ） (2022-04-11T15:34:49Z)
• Robust Reinforcement Learning via Genetic Curriculum [5.421464476555662]
  遺伝的カリキュラムは、エージェントが現在失敗しているシナリオを自動的に識別し、関連するカリキュラムを生成するアルゴリズムである。 我々の実証研究は、既存の技術アルゴリズムよりも堅牢性の向上を示し、2倍から8倍のエージェントが失敗する確率の低いトレーニングカリキュラムを提供する。
  論文  参考訳（メタデータ） (2022-02-17T01:14:20Z)
• On Assessing The Safety of Reinforcement Learning algorithms Using Formal Methods [6.2822673562306655]
  敵の訓練、敵の検知、堅牢な学習といった安全メカニズムは、エージェントが配備されるすべての障害に常に適応するとは限らない。 したがって,エージェントが直面する学習課題に適応した新しいソリューションを提案する必要がある。 我々は、対向的摂動に直面した際のエージェントのポリシーを改善するために、報酬形成とQ-ラーニングアルゴリズムを防御機構として使用する。
  論文  参考訳（メタデータ） (2021-11-08T23:08:34Z)
• Learning to Be Cautious [71.9871661858886]
  強化学習の分野における重要な課題は、新しい状況下で慎重に行動するエージェントを開発することである。 注意深い行動がますます不要になるタスクのシーケンスと、システムが注意深いことを実証するアルゴリズムを提示する。
  論文  参考訳（メタデータ） (2021-10-29T16:52:45Z)
• Learning to be Safe: Deep RL with a Safety Critic [72.00568333130391]
  安全なRLへの自然な第一のアプローチは、ポリシーの動作に関する制約を手動で指定することである。 我々は,タスクと環境の1つのセットで安全であることを学習し,その学習した直観を用いて将来の行動を制限することを提案する。
  論文  参考訳（メタデータ） (2020-10-27T20:53:20Z)
• Cautious Adaptation For Reinforcement Learning in Safety-Critical Settings [129.80279257258098]
  都市運転のような現実の安全クリティカルな目標設定における強化学習(RL)は危険である。 非安全クリティカルな「ソース」環境でエージェントが最初に訓練する「安全クリティカル適応」タスクセットを提案する。 多様な環境における事前経験がリスクを見積もるためにエージェントに装備するという直感に基づくソリューションアプローチであるCARLを提案する。
  論文  参考訳（メタデータ） (2020-08-15T01:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。