論文の概要: Efficient Action-Constrained Reinforcement Learning via Acceptance-Rejection Method and Augmented MDPs

• arxiv url: http://arxiv.org/abs/2503.12932v1
• Date: Mon, 17 Mar 2025 08:41:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 15:59:22.154582
• Title: Efficient Action-Constrained Reinforcement Learning via Acceptance-Rejection Method and Augmented MDPs
• Title（参考訳）: アクセプタンス・リジェクション法と拡張MDPによる効果的な行動制約強化学習
• Authors: Wei Hung, Shao-Hua Sun, Ping-Chun Hsieh,
• Abstract要約: 行動制約強化学習(ACRL)は、行動制約違反をゼロとする制御ポリシーを学習するための一般的なフレームワークである。 本稿では、標準制約のないRL法をACRLに適用できる汎用的で効率的なフレームワークを提案する。 提案手法は,現状のACRL法よりも高速なトレーニング,制約満足度の向上,アクション推論時間の短縮を実現している。
• 参考スコア（独自算出の注目度）: 13.443196224057658
• License:
• Abstract: Action-constrained reinforcement learning (ACRL) is a generic framework for learning control policies with zero action constraint violation, which is required by various safety-critical and resource-constrained applications. The existing ACRL methods can typically achieve favorable constraint satisfaction but at the cost of either high computational burden incurred by the quadratic programs (QP) or increased architectural complexity due to the use of sophisticated generative models. In this paper, we propose a generic and computationally efficient framework that can adapt a standard unconstrained RL method to ACRL through two modifications: (i) To enforce the action constraints, we leverage the classic acceptance-rejection method, where we treat the unconstrained policy as the proposal distribution and derive a modified policy with feasible actions. (ii) To improve the acceptance rate of the proposal distribution, we construct an augmented two-objective Markov decision process (MDP), which include additional self-loop state transitions and a penalty signal for the rejected actions. This augmented MDP incentives the learned policy to stay close to the feasible action sets. Through extensive experiments in both robot control and resource allocation domains, we demonstrate that the proposed framework enjoys faster training progress, better constraint satisfaction, and a lower action inference time simultaneously than the state-of-the-art ACRL methods. We have made the source code publicly available to encourage further research in this direction.
• Abstract（参考訳）: 行動制約強化学習(ACRL)は、行動制約違反のない制御ポリシーを学習するための一般的なフレームワークである。 既存のACRL法は、典型的には好ましい制約満足度を達成できるが、2次プログラム(QP)によって引き起こされる高い計算負担や、洗練された生成モデルの使用によるアーキテクチャ上の複雑さの増大によりコストがかかる。 本稿では,標準制約のないRL法をACRLに2つの修正を加えて適用可能な,汎用的で効率的なフレームワークを提案する。 一 アクション制約を施行するために、制約のないポリシーを提案分布として扱い、実行可能なアクションで修正されたポリシーを導出する古典的な受け入れ拒否手法を利用する。 (II)提案分布の受容率を向上させるために,自己ループ状態遷移と拒絶行動に対するペナルティ信号を含む拡張された2目的マルコフ決定プロセス(MDP)を構築した。 この拡張MDPは、学習した政策が実行可能なアクションセットに近づき続けるようインセンティブを与える。 ロボット制御と資源配分の両領域における広範な実験を通じて,提案するフレームワークは,最先端のACRL法よりも高速なトレーニングの進行,制約満足度の向上,アクション推論時間の短縮を享受できることを実証した。 我々は、この方向のさらなる研究を促進するために、ソースコードを公開しました。

関連論文リスト

• Behavior-Regularized Diffusion Policy Optimization for Offline Reinforcement Learning [22.333460316347264]
  本稿では,拡散型ポリシーに適した行動規則化RLフレームワークであるBDPOを紹介する。 我々は,行動制約を尊重しながら最適なポリシーを生成する,効率的な2時間スケールアクタークリティカルなRLアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-02-07T09:30:35Z)
• Probabilistic Satisfaction of Temporal Logic Constraints in Reinforcement Learning via Adaptive Policy-Switching [0.0]
  Constrained Reinforcement Learning (CRL)は、従来の強化学習(RL)フレームワークに制約を導入する機械学習のサブセットである。 純粋学習(逆)と制約満足度を切り替えることに依存する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-10-10T15:19:45Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Generative Modelling of Stochastic Actions with Arbitrary Constraints in Reinforcement Learning [25.342811509665097]
  強化学習(RL)における多くの問題は、大きな離散多次元かつ非順序の作用空間を持つ最適ポリシーを求める。 この設定の課題は、下層の作用空間が分類的(離散的かつ非順序的)で大きいことである。 本研究では,(状態)条件正規化フローを適用して,ポリシーをコンパクトに表現することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-11-26T15:57:20Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)
• Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality [141.89413461337324]
  展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である 本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
  論文  参考訳（メタデータ） (2022-02-14T01:31:46Z)
• Reinforcement Learning With Sparse-Executing Actions via Sparsity Regularization [15.945378631406024]
  強化学習(RL)は、具体的制御、自律運転、金融取引といった意思決定タスクにおいて、素晴らしいパフォーマンスを示している。 多くの意思決定タスクでは、エージェントは限られた予算の下でアクションを実行するという問題に遭遇する。 本稿では,行動空間における特定の行動が限られた時間しか実行できないスパース行動マルコフ決定プロセス(SA-MDP)としてこの問題を定式化する。 本稿では,ポリシー最適化アルゴリズムであるAction Sparsity Regularization (ASRE)を提案する。
  論文  参考訳（メタデータ） (2021-05-18T16:50:42Z)
• State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards [88.30521204048551]
  制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。 ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。 この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
  論文  参考訳（メタデータ） (2021-02-23T21:07:35Z)
• Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement Learning via Frank-Wolfe Policy Optimization [5.072893872296332]
  アクション制約強化学習(RL)は、さまざまな現実世界のアプリケーションで広く使用されているアプローチです。 本稿では,政策パラメータ更新から行動制約を分離する学習アルゴリズムを提案する。 提案アルゴリズムは,様々な制御タスクにおけるベンチマーク手法を有意に上回っていることを示した。
  論文  参考訳（メタデータ） (2021-02-22T14:28:03Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。