論文の概要: Boundary-Seeking Policy Gradient for Safe Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.10204v1
• Date: Mon, 10 Aug 2026 20:20:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.806417
• Title: Boundary-Seeking Policy Gradient for Safe Reinforcement Learning
• Title（参考訳）: 安全な強化学習のための境界探索政策
• Abstract要約: BSPG(Bundary-Seeking Policy Gradient) 更新は、コストを維持しながら報酬を改善する接尾辞成分と、どちらの側からもアクティブバウンダリに対するポリシーを規制する符号付き残差駆動の正規成分を結合する。 標準のセーフティ・ジムナシウムナビゲーションタスクでは、BSPGは、比較したベースラインよりもバウンダリを厳格に追跡しながら高い報酬を得る。
• 参考スコア（独自算出の注目度）: 10.527332705691668
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safe reinforcement learning maximizes reward subject to safety constraints. For Constrained Markov Decision Processes, the linear-programming view over occupancy measures implies that whenever the constraint is active at optimality, the optimal policy lies exactly on the constraint boundary, yet standard gradient-based methods do not exploit this structure and often settle in the feasible interior. We introduce Boundary-Seeking Policy Gradient (BSPG), a first-order method whose update combines a tangential component that improves reward while preserving cost to first order with a signed, residual-driven normal component that regulates the policy toward the active boundary from either side; the combined direction admits an algebraic Lagrangian form with an induced coefficient and no learned dual variable. Under exact gradients and stated regularity conditions, the constraint residual converges to zero from either side with a finite-horizon $O(1/\sqrt{T})$ bound, the tangential component is a reward-ascent direction on the boundary, and any convergent parameter sequence is stationary on the active constraint set, satisfying the KKT conditions when the limit is also a local maximizer over the feasible set. This complements existing analyses, which certify feasibility but do not characterize the constraint value at convergence. On a standard Safety-Gymnasium navigation task, BSPG attains higher reward while tracking the boundary more tightly than the compared baselines.
• Abstract（参考訳）: 安全強化学習は、安全制約を受ける報酬を最大化する。 Constrained Markov Decision Processes では、占有度測定に関する線形プログラミング的見解は、最適性において制約がアクティブであるときは常に、最適ポリシーは制約境界に完全に依存するが、標準勾配法はこの構造を活用せず、しばしば実現可能な内部に落ち着くことを示唆している。 筆者らはBSPG(Bundary-Seeking Policy Gradient)という一階法を導入する。これは、コストを保ちながら報酬を改善する接尾辞成分と、どちらの側からも活性境界に対するポリシーを規制する符号付き残差駆動正規成分とを組み合わせた一階法であり、この結合方向は誘導係数を持つ代数ラグランジアン形式を許容し、学習された双変数を持たない。 厳密な勾配と記述された正則性条件の下では、制約残差は有限水平$O(1/\sqrt{T})$有界の両側からゼロに収束し、接成分は境界上の報酬平均方向であり、任意の収束パラメータ列は活性制約集合上で定常であり、極限が実現可能な集合上の局所最大値でもある場合のKKT条件を満たす。 これは、実現可能性を証明するが収束時の制約値を特徴づけない既存の分析を補完する。 標準のセーフティ・ジムナシウムナビゲーションタスクでは、BSPGは、比較したベースラインよりもバウンダリを厳格に追跡しながら高い報酬を得る。

関連論文リスト

• Global Optimality for Constrained Exploration via Penalty Regularization [28.060709233558654]
  現実世界の探索は、しばしば客観的な制約によって制約された性質によって悪用される。 本稿では,一般凸擬ペナルティ正規化を実施するポリシグラディエント手法を提案する。
  論文  参考訳（メタデータ） (2026-04-30T17:31:46Z)
• Near-Constant Strong Violation and Last-Iterate Convergence for Online CMDPs via Decaying Safety Margins [31.581870065866568]
  制約付きマルコフ決定過程(CMDP)における安全なオンライン強化学習を,強い後悔と違反の指標の下で研究する。 サブリニアの強い報酬を後悔させる既存の原始二重法は、強い制約違反の増大を招いたり、あるいは固有振動による平均点収束に制限されたりしている。 本稿では,マルチ正規化探索(FlexDOME)アルゴリズムによるフレキシブルセーフティドメイン最適化を提案する。
  論文  参考訳（メタデータ） (2026-02-11T14:54:26Z)
• Adaptive Neighborhood-Constrained Q Learning for Offline Reinforcement Learning [52.03884701766989]
  オフライン強化学習(RL)アルゴリズムは、通常、アクション選択に制約を課す。 本稿では,Bellmanターゲットにおける行動選択を,データセットアクションの近傍の結合に制限する新しい地区制約を提案する。 我々は,この制約を満たす目標動作を用いてQ学習を行うための,単純で効果的なアルゴリズムであるAdaptive Neighborhood-Constrained Q Learning(ANQ)を開発した。
  論文  参考訳（メタデータ） (2025-11-04T13:42:05Z)
• Boundary-to-Region Supervision for Offline Safe Reinforcement Learning [56.150983204962735]
  バウンダリ・トゥ・レギオン(Bundary-to-Region, B2R)は、コスト信号による非対称な条件付けを可能にするフレームワークである。 B2Rは、CTGを固定された安全予算の下で境界制約として再定義し、すべての実行可能な軌道のコスト分布を統一する。 実験の結果,B2Rは38項目中35項目の安全制約を満たすことがわかった。
  論文  参考訳（メタデータ） (2025-09-30T03:38:20Z)
• Deterministic Policy Gradient Primal-Dual Methods for Continuous-Space Constrained MDPs [82.34567890576423]
  我々は,非漸近収束を伴う最適決定主義政策を求めるための決定主義的政策勾配原始双対法を開発した。 D-PGPDの一次-双対反復は、最適正則化原始-双対にサブ線形速度で収束することが証明された。 これは連続空間制約型MDPに対する決定論的ポリシー探索法を提案する最初の研究である。
  論文  参考訳（メタデータ） (2024-08-19T14:11:04Z)
• Last-Iterate Convergent Policy Gradient Primal-Dual Methods for Constrained MDPs [107.28031292946774]
  無限水平割引マルコフ決定過程(拘束型MDP)の最適ポリシの計算問題について検討する。 我々は, 最適制約付きポリシーに反復的に対応し, 非漸近収束性を持つ2つの単一スケールポリシーに基づく原始双対アルゴリズムを開発した。 我々の知る限り、この研究は制約付きMDPにおける単一時間スケールアルゴリズムの非漸近的な最後の収束結果となる。
  論文  参考訳（メタデータ） (2023-06-20T17:27:31Z)
• Convergence and sample complexity of natural policy gradient primal-dual methods for constrained MDPs [23.596546979904613]
  線形決定(MDP)の割引最適率の解法として, 自然政策勾配法を用いる。 また、2つのサンプルベースNPG-PDアルゴリズムに対して有限サンプル保証を提供する。
  論文  参考訳（メタデータ） (2022-06-06T04:28:04Z)
• Algorithm for Constrained Markov Decision Process with Linear Convergence [55.41644538483948]
  エージェントは、そのコストに対する複数の制約により、期待される累積割引報酬を最大化することを目的としている。 エントロピー正規化ポリシーとベイダの二重化という2つの要素を統合した新しい双対アプローチが提案されている。 提案手法は(線形速度で)大域的最適値に収束することが示されている。
  論文  参考訳（メタデータ） (2022-06-03T16:26:38Z)
• Fast Global Convergence of Policy Optimization for Constrained MDPs [17.825031573375725]
  勾配法は最適性ギャップと制約違反の両方に対して$mathcalO(log(T)/T)$大域収束率が得られることを示す。 スレーターの条件が満たされ、事前条件が知られているとき、十分大きなT$に対してゼロ制約違反がさらに保証される。
  論文  参考訳（メタデータ） (2021-10-31T17:46:26Z)
• On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization [55.937424268654645]
  有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。 本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
  論文  参考訳（メタデータ） (2020-08-20T03:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。