Fugu-MT 論文翻訳(概要): Embedding Safety into RL: A New Take on Trust Region Methods

論文の概要: Embedding Safety into RL: A New Take on Trust Region Methods

arxiv url: http://arxiv.org/abs/2411.02957v2
Date: Tue, 04 Feb 2025 11:16:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 14:52:33.997985
Title: Embedding Safety into RL: A New Take on Trust Region Methods
Title（参考訳）: 安全をRLに組み込む - トラストリージョンの新たな手法
Authors: Nikola Milosevic, Johannes Müller, Nico Scherf,
Abstract要約: 我々は,信頼領域が安全な政策のみを含むことを保証するために,政策空間を再設定する制約付きトラスト地域政策最適化(C-TRPO)を導入する。実験により、C-TRPOは競合リターンを維持しながら制約違反を低減することが示された。
参考スコア（独自算出の注目度）: 1.5733417396701983
License:
Abstract: Reinforcement Learning (RL) agents can solve diverse tasks but often exhibit unsafe behavior. Constrained Markov Decision Processes (CMDPs) address this by enforcing safety constraints, yet existing methods either sacrifice reward maximization or allow unsafe training. We introduce Constrained Trust Region Policy Optimization (C-TRPO), which reshapes the policy space geometry to ensure trust regions contain only safe policies, guaranteeing constraint satisfaction throughout training. We analyze its theoretical properties and connections to TRPO, Natural Policy Gradient (NPG), and Constrained Policy Optimization (CPO). Experiments show that C-TRPO reduces constraint violations while maintaining competitive returns.
Abstract（参考訳）: 強化学習(RL)エージェントは多様なタスクを解くことができるが、しばしば安全でない振る舞いを示す。 CMDP(Constrained Markov Decision Processs)は、安全上の制約を課すことによってこの問題に対処するが、既存の方法は報酬の最大化を犠牲にするか、安全でない訓練を許可する。本稿では,信頼領域が安全な政策のみを含むこと,トレーニングを通しての制約満足度を保証するために,政策空間の幾何を再検討する,制約付き信頼領域政策最適化(C-TRPO)を紹介する。本稿では,その理論的性質とTRPO,Natural Policy Gradient (NPG),Constrained Policy Optimization (CPO)との関連性について分析する。実験により、C-TRPOは競合リターンを維持しながら制約違反を低減することが示された。

関連論文リスト

Flipping-based Policy for Chance-Constrained Markov Decision Processes [9.404184937255694]
本稿では,CCMDP(Chance-Constrained Markov Decision Processs)のためのテキストフリップに基づくポリシーを提案する。フリップベースのポリシーは、2つのアクション候補の間で潜在的に歪んだコインを投げて次のアクションを選択する。提案手法は,既存の安全RLアルゴリズムの性能を安全性の制約と同じ限度で向上させることを実証する。
論文参考訳（メタデータ） (2024-10-09T02:00:39Z)
Policy Bifurcation in Safe Reinforcement Learning [35.75059015441807]
いくつかのシナリオでは、実行可能なポリシーは不連続または多値であり、不連続な局所最適性の間の補間は必然的に制約違反につながる。我々は,このような現象の発生機構を最初に同定し,安全RLにおける分岐の存在を厳密に証明するためにトポロジカル解析を用いる。本稿では,ガウス混合分布をポリシ出力として利用するマルチモーダルポリシ最適化(MUPO)と呼ばれる安全なRLアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-19T15:54:38Z)
Supported Trust Region Optimization for Offline Reinforcement Learning [59.43508325943592]
本稿では,行動方針の支持範囲内で制約された政策を用いて信頼地域政策の最適化を行う,信頼地域最適化(STR)を提案する。近似やサンプリング誤差を仮定すると、STRはデータセットの最適サポート制約ポリシーに収束するまで厳密なポリシー改善を保証する。
論文参考訳（メタデータ） (2023-11-15T13:16:16Z)
Trust-Region-Free Policy Optimization for Stochastic Policies [60.52463923712565]
本研究では,政策に対する信頼領域の制約が,基礎となるモノトニック改善の保証を損なうことなく,信頼領域のない制約によって安全に置き換えられることを示す。我々は,TREFree(Trust-Region-Free Policy Optimization)と呼ばれるアルゴリズムを,信頼領域の制約が不要であるとして明示する。
論文参考訳（メタデータ） (2023-02-15T23:10:06Z)
Safety Correction from Baseline: Towards the Risk-aware Policy in Robotics via Dual-agent Reinforcement Learning [64.11013095004786]
本稿では,ベースラインと安全エージェントからなる二重エージェント型安全強化学習戦略を提案する。このような分離されたフレームワークは、RLベースの制御に対して高い柔軟性、データ効率、リスク認識を可能にする。提案手法は,難易度の高いロボットの移動・操作作業において,最先端の安全RLアルゴリズムより優れる。
論文参考訳（メタデータ） (2022-12-14T03:11:25Z)
Safe Reinforcement Learning via Confidence-Based Filters [78.39359694273575]
我々は,標準的な強化学習技術を用いて学習した名目政策に対して,国家安全の制約を認定するための制御理論的アプローチを開発する。我々は、正式な安全保証を提供し、我々のアプローチの有効性を実証的に実証する。
論文参考訳（メタデータ） (2022-07-04T11:43:23Z)
Safe Reinforcement Learning Using Advantage-Based Intervention [45.79740561754542]
多くのシーケンシャルな決定問題は、安全性の制約に従いながら全報酬を最大化するポリシーを見つけることである。本稿では,エージェントの安全性を確保するために,アドバンテージ関数に基づく介入機構を用いた新しいアルゴリズムであるSAILRを提案する。私たちの方法には、トレーニングとデプロイメントの両方において、安全性が強く保証されています。
論文参考訳（メタデータ） (2021-06-16T20:28:56Z)
Lyapunov Barrier Policy Optimization [15.364174084072872]
本稿では,lyapunovベースのバリア関数を用いて,トレーニングイテレーション毎にポリシ更新をセーフセットに制限する手法であるlbpoを提案する。また,本手法により,環境の制約に対して,エージェントの保守性を制御できる。
論文参考訳（メタデータ） (2021-03-16T17:58:27Z)
Cautious Reinforcement Learning with Logical Constraints [78.96597639789279]
適応型安全なパッドディングは、学習プロセス中の安全性を確保しつつ、RL(Reinforcement Learning)に最適な制御ポリシーの合成を強制する。理論的な保証は、合成されたポリシーの最適性と学習アルゴリズムの収束について利用できる。
論文参考訳（メタデータ） (2020-02-26T00:01:08Z)
Representation of Reinforcement Learning Policies in Reproducing Kernel Hilbert Spaces [72.5149277196468]
このフレームワークは、カーネルヒルベルト空間(RKHS)上のポリシーの低次元埋め込みを見つけることを含む。我々は、再建された政策の復活を期待して、強い理論的保証を得る。その結果、低次元空間にロバストに埋め込むことができる一方で、組込みポリシはリターンの低下をほとんど起こさないことを確認した。
論文参考訳（メタデータ） (2020-02-07T15:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。