論文の概要: Safety through feedback in Constrained RL

• arxiv url: http://arxiv.org/abs/2406.19626v2
• Date: Tue, 05 Nov 2024 10:38:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-06 14:56:43.387191
• Title: Safety through feedback in Constrained RL
• Title（参考訳）: 制約付きRLのフィードバックによる安全性
• Authors: Shashank Reddy Chirra, Pradeep Varakantham, Praveen Paruchuri,
• Abstract要約: 安全クリティカルなRL設定では、エージェントの安全な振る舞いを保証するために報酬関数を変更するよりも、追加のコスト関数を含めることが好まれる。 より複雑なドメインにスケールし、状態レベルのフィードバックを超えて拡張するアプローチを導入します。 安全体育館環境と現実的な自動運転シナリオのベンチマーク実験により,本手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 13.664014596337037
• License:
• Abstract: In safety-critical RL settings, the inclusion of an additional cost function is often favoured over the arduous task of modifying the reward function to ensure the agent's safe behaviour. However, designing or evaluating such a cost function can be prohibitively expensive. For instance, in the domain of self-driving, designing a cost function that encompasses all unsafe behaviours (e.g. aggressive lane changes) is inherently complex. In such scenarios, the cost function can be learned from feedback collected offline in between training rounds. This feedback can be system generated or elicited from a human observing the training process. Previous approaches have not been able to scale to complex environments and are constrained to receiving feedback at the state level which can be expensive to collect. To this end, we introduce an approach that scales to more complex domains and extends to beyond state-level feedback, thus, reducing the burden on the evaluator. Inferring the cost function in such settings poses challenges, particularly in assigning credit to individual states based on trajectory-level feedback. To address this, we propose a surrogate objective that transforms the problem into a state-level supervised classification task with noisy labels, which can be solved efficiently. Additionally, it is often infeasible to collect feedback on every trajectory generated by the agent, hence, two fundamental questions arise: (1) Which trajectories should be presented to the human? and (2) How many trajectories are necessary for effective learning? To address these questions, we introduce \textit{novelty-based sampling} that selectively involves the evaluator only when the the agent encounters a \textit{novel} trajectory. We showcase the efficiency of our method through experimentation on several benchmark Safety Gymnasium environments and realistic self-driving scenarios.
• Abstract（参考訳）: 安全クリティカルなRL設定では、エージェントの安全な振る舞いを保証するために報酬関数を変更するという困難な作業に対して、追加のコスト関数を含めることが好まれる。 しかし、このようなコスト関数の設計や評価は違法にコストがかかる可能性がある。 例えば、自動運転の分野では、安全でないすべての振る舞い(例えば、攻撃的な車線変更)を含むコスト関数を設計するのは本質的に複雑です。 このようなシナリオでは、トレーニングラウンド間のオフラインで収集されたフィードバックからコスト関数を学ぶことができる。 このフィードバックは、トレーニングプロセスを観察している人間からシステム生成または引き起こすことができる。 これまでのアプローチでは、複雑な環境にスケールすることはできず、収集に費用がかかる状態レベルでのフィードバックの受け取りに制約されていた。 この目的のために、我々はより複雑なドメインに拡張し、状態レベルのフィードバックを超えて拡張するアプローチを導入し、評価者の負担を軽減する。 このような設定でコスト関数を推定することは、特に軌道レベルのフィードバックに基づいて個々の状態にクレジットを割り当てる際の問題を引き起こす。 そこで本稿では,この問題を雑音ラベル付き状態レベルの教師付き分類タスクに変換するサロゲート目標を提案する。 さらに、エージェントが生成するすべての軌跡に対するフィードバックを収集することは不可能であることが多いため、2つの根本的な疑問が生じる:(1)どの軌跡を人間に提示すべきか? 効果的な学習には,何つの軌道が必要か? これらの問題に対処するために、エージェントが \textit{novel} 軌道に遭遇したときのみ、評価器を選択的に含む \textit{novelty-based sample} を導入する。 安全体育館環境と現実的な自動運転シナリオのベンチマーク実験により,本手法の有効性を実証する。

関連論文リスト

• REBEL: A Regularization-Based Solution for Reward Overoptimization in Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数とユーザの意図、価値観、社会的規範の相違は、現実世界で破滅的なものになる可能性がある。 人間の嗜好から報酬関数を学習することで、このミスアライメント作業を軽減するための現在の方法。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• Handling Cost and Constraints with Off-Policy Deep Reinforcement Learning [2.793095554369282]
  政治外学習の最も一般的な方法は、学習された状態アクション(Q$)値関数が選択されたデータのバッチに対して最大化されるポリシー改善ステップである。 我々は、この戦略を「混合符号」報酬関数を持つ環境で再考する。 この2つ目のアプローチは、混合符号の報酬を持つ連続的な行動空間に適用した場合、リセットによって拡張された最先端の手法よりも一貫して、著しく優れる。
  論文  参考訳（メタデータ） (2023-11-30T16:31:04Z)
• Behavior Alignment via Reward Function Optimization [23.92721220310242]
  設計者のドメイン知識と環境のプライマリ報酬を反映した補助報酬を統合する新しいフレームワークを導入する。 提案手法の有効性を,小型実験から高次元制御課題に至るまで,様々な課題に対して評価する。
  論文  参考訳（メタデータ） (2023-10-29T13:45:07Z)
• Contrastive Example-Based Control [163.6482792040079]
  報酬関数ではなく多段階遷移の暗黙的なモデルを学ぶオフラインのサンプルベース制御法を提案する。 状態ベースおよび画像ベースのオフライン制御タスクの範囲で、学習された報酬関数を使用するベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-07-24T19:43:22Z)
• A Multiplicative Value Function for Safe and Efficient Reinforcement Learning [131.96501469927733]
  本稿では,安全評論家と報酬評論家からなる新しい乗法値関数を持つモデルフリーRLアルゴリズムを提案する。 安全評論家は、制約違反の確率を予測し、制限のないリターンのみを見積もる報酬批評家を割引する。 安全制約を付加した古典的RLベンチマークや、画像を用いたロボットナビゲーションタスク、生のライダースキャンを観察する4つの環境において、本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-07T18:29:15Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Curious Exploration and Return-based Memory Restoration for Deep Reinforcement Learning [2.3226893628361682]
  本稿では,バイナリ成功/障害報酬関数を用いて,単一エージェントの目標達成のためのトレーニングに焦点をあてる。 提案手法は,かなり複雑な状態と動作空間を有する環境でエージェントを訓練するために利用できる。
  論文  参考訳（メタデータ） (2021-05-02T16:01:34Z)
• Constrained Markov Decision Processes via Backward Value Functions [43.649330976089004]
  制約付きマルコフ決定プロセスとして,制約付き学習の問題をモデル化する。 我々のアプローチの重要な貢献は、累積的なコスト制約を状態ベースの制約に変換することである。 我々は、エージェントが訓練の過程で安全を確保しながら収束する理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-08-26T20:56:16Z)
• Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
  安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。 既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。 本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T10:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。