論文の概要: Safe Reinforcement Learning by Imagining the Near Future

• arxiv url: http://arxiv.org/abs/2202.07789v1
• Date: Tue, 15 Feb 2022 23:28:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-17 15:36:11.419334
• Title: Safe Reinforcement Learning by Imagining the Near Future
• Title（参考訳）: Imagining the Near Future による安全強化学習
• Authors: Garrett Thomas, Yuping Luo, Tengyu Ma
• Abstract要約: 本研究は, 短期的に計画することで, 安全でない状態を回避できるような環境に着目する。 我々は、安全でない軌跡を過度に罰するモデルに基づくアルゴリズムを考案し、そのアルゴリズムが特定の仮定の下で安全でない状態を回避できることを保証する。 実験により, 連続制御タスクにおいて, 安全性違反が少なく, 競争力のある報奨を達成できることが実証された。
• 参考スコア（独自算出の注目度）: 37.0376099401243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safe reinforcement learning is a promising path toward applying reinforcement learning algorithms to real-world problems, where suboptimal behaviors may lead to actual negative consequences. In this work, we focus on the setting where unsafe states can be avoided by planning ahead a short time into the future. In this setting, a model-based agent with a sufficiently accurate model can avoid unsafe states. We devise a model-based algorithm that heavily penalizes unsafe trajectories, and derive guarantees that our algorithm can avoid unsafe states under certain assumptions. Experiments demonstrate that our algorithm can achieve competitive rewards with fewer safety violations in several continuous control tasks.
• Abstract（参考訳）: 安全強化学習(safe reinforcement learning)は、現実世界の問題に強化学習アルゴリズムを適用するための有望な方法である。 本研究では、短時間の計画から将来へ向けて、安全でない状態を避けることが可能な設定に焦点をあてる。 この設定では、十分に正確なモデルを持つモデルベースのエージェントは、安全でない状態を避けることができる。 我々は、安全でない軌跡を深く罰するモデルに基づくアルゴリズムを考案し、そのアルゴリズムが特定の仮定の下で安全でない状態を回避できることを保証する。 実験により,複数の連続制御タスクにおいて,安全性違反の少ない競合報酬が得られることを示した。

関連論文リスト

• Safe Reinforcement Learning for Constrained Markov Decision Processes with Stochastic Stopping Time [0.6554326244334868]
  安全制約付きマルコフ決定過程に対するオンライン強化学習アルゴリズムを提案する。 学習方針は高い信頼を持って安全であることを示す。 また、プロキシセットと呼ばれる状態空間のサブセットを定義することで、効率的な探索を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-03-23T20:22:30Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Approximate Shielding of Atari Agents for Safe Exploration [83.55437924143615]
  遮蔽の概念に基づく安全な探索のための原理的アルゴリズムを提案する。 本稿では,我々の近似遮蔽アルゴリズムが安全違反率を効果的に低減することを示す予備的な結果を示す。
  論文  参考訳（メタデータ） (2023-04-21T16:19:54Z)
• Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
  コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。 このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。 本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
  論文  参考訳（メタデータ） (2023-02-20T15:24:06Z)
• ProBF: Learning Probabilistic Safety Certificates with Barrier Functions [31.203344483485843]
  制御バリア関数は、地平系力学にアクセスできれば安全を保証できる便利なツールである。 実際には、システムダイナミクスに関する不正確な知識があるため、安全でない振る舞いにつながる可能性があります。 本手法の有効性をSegwayとQuadrotorのシミュレーション実験により示す。
  論文  参考訳（メタデータ） (2021-12-22T20:18:18Z)
• Learn Zero-Constraint-Violation Policy in Model-Free Constrained Reinforcement Learning [7.138691584246846]
  本稿では,安全指向エネルギー関数を用いてポリシー更新を限定するセーフセットアクタクリティカル(SSAC)アルゴリズムを提案する。 安全指数は、潜在的に危険な行動のために急速に増加するように設計されている。 我々は、値関数の学習と同様に、モデルのない方法でエネルギー関数を学習できると主張する。
  論文  参考訳（メタデータ） (2021-11-25T07:24:30Z)
• Sample-Efficient Safety Assurances using Conformal Prediction [57.92013073974406]
  早期警戒システムは、安全でない状況が差し迫ったときに警告を提供することができる。 安全性を確実に向上させるためには、これらの警告システムは証明可能な偽陰性率を持つべきである。 本稿では,共形予測と呼ばれる統計的推論手法とロボット・環境力学シミュレータを組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-28T23:00:30Z)
• Learning to Act Safely with Limited Exposure and Almost Sure Certainty [1.0323063834827415]
  本稿では,未知の環境における安全な行動を取るための学習を,探索試験を必要とせずに実現できるという考えを提唱する。 本稿では,まず標準的マルチアームバンディット問題に着目し,不確実性の存在下での学習安全性の本質的なトレードオフについて検討する。
  論文  参考訳（メタデータ） (2021-05-18T18:05:12Z)
• Learning to be safe, in finite time [4.189643331553922]
  本稿では,未知の環境での安全な行動の学習を,確率が保証されても,無拘束の探索試験を必要とせずに実現できるという考えを提唱する。 我々は、標準的マルチアームバンディット問題に焦点をあて、安全学習における探索保存トレードオフの本質的な研究を模索する。
  論文  参考訳（メタデータ） (2020-10-01T14:03:34Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。