論文の概要: Long-term Safe Reinforcement Learning with Binary Feedback

• arxiv url: http://arxiv.org/abs/2401.03786v1
• Date: Mon, 8 Jan 2024 10:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 16:56:40.842383
• Title: Long-term Safe Reinforcement Learning with Binary Feedback
• Title（参考訳）: 二元フィードバックによる長期安全強化学習
• Authors: Akifumi Wachi, Wataru Hashimoto, Kazumune Hashimoto
• Abstract要約: LoBiSaRL (Long-term Binary Safe RL) はマルコフ決定過程に対する安全なRLアルゴリズムである。 LoBiSaRLは長期の安全制約を高い確率で保証する。 理論的には,LoBiSaRLは長期の安全制約を高い確率で保証している。
• 参考スコア（独自算出の注目度）: 5.684409853507594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safety is an indispensable requirement for applying reinforcement learning (RL) to real problems. Although there has been a surge of safe RL algorithms proposed in recent years, most existing work typically 1) relies on receiving numeric safety feedback; 2) does not guarantee safety during the learning process; 3) limits the problem to a priori known, deterministic transition dynamics; and/or 4) assume the existence of a known safe policy for any states. Addressing the issues mentioned above, we thus propose Long-term Binaryfeedback Safe RL (LoBiSaRL), a safe RL algorithm for constrained Markov decision processes (CMDPs) with binary safety feedback and an unknown, stochastic state transition function. LoBiSaRL optimizes a policy to maximize rewards while guaranteeing a long-term safety that an agent executes only safe state-action pairs throughout each episode with high probability. Specifically, LoBiSaRL models the binary safety function via a generalized linear model (GLM) and conservatively takes only a safe action at every time step while inferring its effect on future safety under proper assumptions. Our theoretical results show that LoBiSaRL guarantees the long-term safety constraint, with high probability. Finally, our empirical results demonstrate that our algorithm is safer than existing methods without significantly compromising performance in terms of reward.
• Abstract（参考訳）: 安全は実問題に強化学習(RL)を適用する上で必須の要件である。 近年、安全なRLアルゴリズムが提案されているが、ほとんどの既存の研究は概ねそうである。 1) 数値的安全フィードバックの受信に依存している。 2) 学習過程における安全性は保証されない。 3) 問題を既知の決定論的遷移力学に限定する; および/または 4) いかなる州に対しても既知の安全政策の存在を前提とする。 そこで我々は,二項安全性フィードバックと未知の確率的状態遷移関数を有する制約付きマルコフ決定プロセス(cmdps)のための安全性rlアルゴリズムであるlobisarlを提案する。 lobisarlは報酬を最大化するポリシーを最適化し、エージェントが各エピソードを通して安全な状態-アクションペアだけを高い確率で実行する長期的な安全性を保証する。 具体的には、LoBiSaRLは一般化線形モデル(GLM)を介して二項安全関数をモデル化し、適切な仮定の下での将来の安全性への影響を推論しながら、各ステップで保守的にのみ安全な行動をとる。 理論的には,LoBiSaRLは長期安全制約を高い確率で保証している。 最後に,提案手法は既存の手法よりも安全であり,報奨効果を著しく損なわないことを示す。

関連論文リスト

• ActSafe: Active Exploration with Safety Constraints for Reinforcement Learning [48.536695794883826]
  本稿では,安全かつ効率的な探索のためのモデルベースRLアルゴリズムであるActSafeを提案する。 本稿では,ActSafeが学習中の安全性を保証しつつ,有限時間で準最適政策を得ることを示す。 さらに,最新のモデルベースRLの進歩に基づくActSafeの実用版を提案する。
  論文  参考訳（メタデータ） (2024-10-12T10:46:02Z)
• Safety through Permissibility: Shield Construction for Fast and Safe Reinforcement Learning [57.84059344739159]
  シールドディング」は、強化学習(RL)の安全性を強制する一般的な手法である 安全と遮蔽構造に対処する新しい許容性に基づく枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-29T18:00:21Z)
• Safe Reinforcement Learning with Learned Non-Markovian Safety Constraints [15.904640266226023]
  我々は、安全に関する部分的状態行動軌跡の貢献を評価するために、信用割当を行う安全モデルの設計を行う。 学習された安全モデルを用いて安全なポリシーを最適化する有効なアルゴリズムを導出する。 安全報酬と安全コンプライアンスのトレードオフ係数を動的に適用する手法を考案する。
  論文  参考訳（メタデータ） (2024-05-05T17:27:22Z)
• Implicit Safe Set Algorithm for Provably Safe Reinforcement Learning [7.349727826230864]
  DRLエージェントのセーフガードを合成するためのモデルフリー安全な制御アルゴリズムである暗黙のセーフセットアルゴリズムを提案する。 提案アルゴリズムは,ブラックボックスの動的関数を問合せするだけで,安全指標(バリア証明書)とその後の安全制御則を合成する。 提案アルゴリズムを最先端のSafety Gymベンチマークで検証し、95% pm 9%$ cumulative rewardを得た上で安全性違反をゼロにする。
  論文  参考訳（メタデータ） (2024-05-04T20:59:06Z)
• Safe Exploration in Reinforcement Learning: A Generalized Formulation and Algorithms [8.789204441461678]
  本稿では,安全な探査のためのメタアルゴリズムであるMASEの形で,安全な探査(GSE)問題の解を提案する。 提案アルゴリズムは,グリッドワールドおよびセーフティガイムベンチマークにおける最先端アルゴリズムよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-10-05T00:47:09Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Online Shielding for Reinforcement Learning [59.86192283565134]
  RLエージェントのオンライン安全保護のためのアプローチを提案する。 実行中、シールドは利用可能な各アクションの安全性を分析する。 この確率と与えられた閾値に基づいて、シールドはエージェントからのアクションをブロックするかを決定する。
  論文  参考訳（メタデータ） (2022-12-04T16:00:29Z)
• Provable Safe Reinforcement Learning with Binary Feedback [62.257383728544006]
  状態, アクションペアの安全性に対するバイナリフィードバックを提供するオフラインオラクルへのアクセスを与えられた場合, 証明可能な安全なRLの問題を考える。 我々は,その設定に対してブラックボックスPAC RLアルゴリズムに与えられた任意のMDP設定に適用可能な,新しいメタアルゴリズムSABREを提案する。
  論文  参考訳（メタデータ） (2022-10-26T05:37:51Z)
• Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and Benchmarking [12.719948223824483]
  強化学習(RL)アルゴリズムは、多くの現実世界のタスクにおいて、その潜在能力を解き放つために不可欠である。 しかしながら、バニラRLと最も安全なRLアプローチは安全性を保証するものではない。 本稿では,既存の安全なRL手法の分類を導入し,連続的および離散的な動作空間の概念的基礎を提示し,既存の手法を実証的にベンチマークする。 本稿では、安全仕様、RLアルゴリズム、アクション空間の種類に応じて、確実に安全なRLアプローチを選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2022-05-13T16:34:36Z)
• SAUTE RL: Almost Surely Safe Reinforcement Learning Using State Augmentation [63.25418599322092]
  安全性の制約をほぼ確実に(あるいは確率1で)満たすことは、実生活アプリケーションにおける強化学習(RL)の展開に不可欠である。 安全性向上型マルコフ決定プロセス(MDP)の導入による課題に対処する。 Saute MDPがSafe Augmentationの問題を、新機能の異なる視点から見ることができることを示す。
  論文  参考訳（メタデータ） (2022-02-14T08:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。