Fugu-MT 論文翻訳(概要): Leveraging Constraint Violation Signals For Action-Constrained Reinforcement Learning

論文の概要: Leveraging Constraint Violation Signals For Action-Constrained Reinforcement Learning

arxiv url: http://arxiv.org/abs/2502.10431v1
Date: Sat, 08 Feb 2025 12:58:26 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-02 03:23:05.181068
Title: Leveraging Constraint Violation Signals For Action-Constrained Reinforcement Learning
Title（参考訳）: 行動制約強化学習のための制約違反信号の活用
Authors: Janaka Chathuranga Brahmanage, Jiajing Ling, Akshat Kumar,
Abstract要約: ACRL(Action-Constrained Reinforcement Learning)は、ポリシーネットワークの後にプロジェクション層を用いて行動を修正する。近年,潜在変数と実行可能行動の異なるマッピングを学習するために,生成モデルを訓練する手法が提案されている。
参考スコア（独自算出の注目度）: 13.332006760984122
License:
Abstract: In many RL applications, ensuring an agent's actions adhere to constraints is crucial for safety. Most previous methods in Action-Constrained Reinforcement Learning (ACRL) employ a projection layer after the policy network to correct the action. However projection-based methods suffer from issues like the zero gradient problem and higher runtime due to the usage of optimization solvers. Recently methods were proposed to train generative models to learn a differentiable mapping between latent variables and feasible actions to address this issue. However, generative models require training using samples from the constrained action space, which itself is challenging. To address such limitations, first, we define a target distribution for feasible actions based on constraint violation signals, and train normalizing flows by minimizing the KL divergence between an approximated distribution over feasible actions and the target. This eliminates the need to generate feasible action samples, greatly simplifying the flow model learning. Second, we integrate the learned flow model with existing deep RL methods, which restrict it to exploring only the feasible action space. Third, we extend our approach beyond ACRL to handle state-wise constraints by learning the constraint violation signal from the environment. Empirically, our approach has significantly fewer constraint violations while achieving similar or better quality in several control tasks than previous best methods.
Abstract（参考訳）: 多くのRLアプリケーションでは、エージェントのアクションが制約に従うことを保証することが安全にとって不可欠である。従来のACRL(Action-Constrained Reinforcement Learning)では、ポリシーネットワークの後にプロジェクション層を用いてアクションを修正していた。しかし、プロジェクションベースの手法は、最適化解法の使用により、ゼロ勾配問題やより高いランタイムのような問題に悩まされる。近年、この問題に対処するための潜在変数と実行可能なアクションの微分可能なマッピングを学習するために、生成モデルを訓練する手法が提案されている。しかし、生成モデルは制約されたアクション空間からのサンプルを使用してトレーニングする必要がある。このような制約に対処するため、まず制約違反信号に基づいて実行可能動作の目標分布を定義し、実行可能動作に対する近似分布と目標とのKL分散を最小化して正規化フローを訓練する。これにより、実行可能なアクションサンプルを生成する必要がなくなり、フローモデル学習が大幅に簡略化される。第2に、学習フローモデルと既存の深部RL法を統合することにより、実行可能なアクション空間のみを探索することを制限する。第3に、環境から制約違反信号を学ぶことによって、状態制約を扱うためにACRLを超えてアプローチを拡張します。経験的に、我々のアプローチは制約違反を著しく少なくし、いくつかの制御タスクにおいて、以前のベストメソッドよりも類似またはより良い品質を実現しています。

関連論文リスト

Diffusion Predictive Control with Constraints [51.91057765703533]
制約付き拡散予測制御(DPCC) トレーニングデータから逸脱可能な、明示的な状態と行動制約を持つ拡散制御アルゴリズム。 DPCCは,学習した制御タスクの性能を維持しつつ,新しいテスト時間制約を満たす上で,既存の手法よりも優れるロボットマニピュレータのシミュレーションを通して示す。
論文参考訳（メタデータ） (2024-12-12T15:10:22Z)
Action Mapping for Reinforcement Learning in Continuous Environments with Constraints [4.521631014571241]
本稿では,アクションマッピングを利用した新しいDRL学習手法を提案し,学習プロセスの合理化を図る。動作マッピングは制約のある環境でのトレーニング性能を大幅に向上させる実験を通して実証する。
論文参考訳（メタデータ） (2024-12-05T16:42:45Z)
FlowPG: Action-constrained Policy Gradient with Normalizing Flows [14.98383953401637]
ACRL(Action-Constrained reinforcement learning)は、安全クリティカルなリソース関連意思決定問題を解決するための一般的な手法である。 ACRLの最大の課題は、各ステップにおける制約を満たす有効なアクションを取るエージェントを確保することである。
論文参考訳（メタデータ） (2024-02-07T11:11:46Z)
Generative Modelling of Stochastic Actions with Arbitrary Constraints in Reinforcement Learning [25.342811509665097]
強化学習(RL)における多くの問題は、大きな離散多次元かつ非順序の作用空間を持つ最適ポリシーを求める。この設定の課題は、下層の作用空間が分類的(離散的かつ非順序的)で大きいことである。本研究では,(状態)条件正規化フローを適用して,ポリシーをコンパクトに表現することで,これらの課題に対処する。
論文参考訳（メタデータ） (2023-11-26T15:57:20Z)
Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文参考訳（メタデータ） (2023-10-18T06:07:10Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
Let Offline RL Flow: Training Conservative Agents in the Latent Space of Normalizing Flows [58.762959061522736]
オフライン強化学習は、追加の環境相互作用なしに、事前に記録された、固定されたデータセット上でポリシーをトレーニングすることを目的としている。我々は、最近、潜在行動空間における学習ポリシーを基礎として、生成モデルの構築に正規化フローの特別な形式を用いる。提案手法が最近提案したアルゴリズムより優れていることを示すため,様々な移動タスクとナビゲーションタスクについて評価を行った。
論文参考訳（メタデータ） (2022-11-20T21:57:10Z)
Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
論文参考訳（メタデータ） (2022-08-12T09:54:11Z)
Shortest-Path Constrained Reinforcement Learning for Sparse Reward Tasks [59.419152768018506]
最適ポリシーは必ずk-SP制約を満たすことを示す。本研究では,SP制約に違反するポリシーを完全に排除する代わりに,新たなコスト関数を提案する。また,MiniGrid,DeepMind Lab,Atari,Fetchを用いた実験の結果,提案手法はPPOを著しく改善することが示された。
論文参考訳（メタデータ） (2021-07-13T21:39:21Z)
Model-based Safe Reinforcement Learning using Generalized Control Barrier Function [6.556257209888797]
本稿では,制約付きRLのモデルに基づく実現性向上手法を提案する。モデル情報を使用することで、実際の安全制約に違反することなく、ポリシーを安全に最適化することができる。提案手法は最大4倍の制約違反を達成し、ベースライン制約RLアプローチよりも3.36倍の速度で収束する。
論文参考訳（メタデータ） (2021-03-02T08:17:38Z)
Constrained Model-based Reinforcement Learning with Robust Cross-Entropy Method [30.407700996710023]
本稿では,制約違反に対するスパースインジケータ信号を用いた制約/安全強化学習問題について検討する。本稿では,ニューラルネットワークアンサンブルモデルを用いて予測の不確実性を推定し,モデル予測制御を基本制御フレームワークとして利用する。その結果,本手法は現状のベースラインよりもはるかに少ない制約違反数でタスクを完了させることが判明した。
論文参考訳（メタデータ） (2020-10-15T18:19:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。