論文の概要: BCPPO: Bachelier-Inspired Constrained Proximal Policy Optimization for Tail-Risk-Aware Safe Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2608.30283v1
- Date: Mon, 31 Aug 2026 05:52:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.24807
- Title: BCPPO: Bachelier-Inspired Constrained Proximal Policy Optimization for Tail-Risk-Aware Safe Reinforcement Learning
- Title（参考訳）: BCPPO: Bachelier-Inspireed Constrained Proximal Policy Optimization for Tail-Risk-Aware Safe Reinforcement Learning
- Abstract要約: 本稿では,BCPPO (Bachelier-Inspireed Constrained Proximal Policy Optimization) をポリシ最適化 (PPO) 手法として提案する。
異なるコスト予測ネットワーク(批評家)は、トレーニングデータにどの状態アクション領域が発生するかに敏感な予測を示す不一致を生成する。
飽和対応コントローラは、平均コストペナルティを調整し、そのペナルティが切断されている間に累積誤差が増大するのを阻止する。
- 参考スコア（独自算出の注目度）: 0.5461938536945722
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Expected-cost constraints can still permit rare, high-cost events. Monte Carlo conditional value at risk (CVaR) gradients can be noisy at high confidence, whereas critics that model an outcome distribution add complexity. We propose BCPPO (Bachelier-Inspired Constrained Proximal Policy Optimization), a proximal policy optimization (PPO) method. Separately initialized cost-prediction networks (critics), trained with random sample masks, produce disagreement that marks predictions sensitive to which state-action regions occur in the training data and to critic training. A Bachelier formula for the expected amount above a reference level converts this disagreement into a smooth policy-update penalty. Gradients from this penalty do not alter the critics, so temporal-difference (TD) critic learning is unchanged. A saturation-aware controller adjusts the mean-cost penalty and stops accumulated error from growing while that penalty is clipped. Deployment retains only the policy network. The disagreement penalty is neither a tail-event probability nor a guaranteed error bound, and it provides no safety guarantee. Across 175 runs with shared tasks, costs, budgets, training steps, and evaluation seeds, no comparator attains both higher mean return and lower mean CVaR than BCPPO in any task. On Push1, BCPPO has no lower return and no higher CVaR than every comparator, with at least one strict gain. These results support a practical balance among reward, caution around cost predictions that vary across trained critics, and policy-only deployment.
- Abstract（参考訳）: 期待されるコスト制約は、稀で高コストなイベントを許すことができる。
モンテカルロ条件付きリスク(CVaR)勾配は高い信頼度でうるさいが、結果分布をモデル化すると複雑さが増すという批判がある。
本稿では,BCPPO(Bachelier-Inspired Constrained Proximal Policy Optimization, PPO)法を提案する。
ランダムなサンプルマスクで訓練された異なる初期化コスト予測ネットワーク(批評家)は、トレーニングデータにどの状態アクション領域が発生するかの予測に敏感な予測と、トレーニングを批判するための不一致を生じる。
基準レベル以上の期待金額のBachelier式は、この不一致をスムーズなポリシー更新ペナルティに変換する。
このペナルティからのグラディエントは批評家を変えないので、時間差(TD)による批判的学習は変化しない。
飽和対応コントローラは、平均コストペナルティを調整し、そのペナルティが切断されている間に累積誤差が増大するのを阻止する。
デプロイはポリシネットワークのみを保持する。
不一致のペナルティは、テールイベント確率や保証されたエラーバウンドではなく、安全保証を提供しない。
175回以上は、共通タスク、コスト、予算、トレーニングステップ、評価シードで実行され、任意のタスクにおいてBCPPOよりも高い平均戻り値と低い平均CVaRを達成するコンパレータは存在しない。
Push1では、BCPPOはリターンが低く、各コンパレータよりもCVaRが高く、少なくとも1つの厳密な利得がある。
これらの結果は、報酬間の実践的なバランス、訓練された批評家によって異なるコスト予測に関する注意、ポリシーのみのデプロイメントをサポートする。
関連論文リスト
- Counterfactual Shapley Credit Assignment [49.39649767581182]
クレディ・アサインメント・問題(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。
対実共有($-value)を通じて信用と責任を判断する新しい枠組みである対実共有($-value)を導入する。
我々は、$$-valuesを計算し、優先順位付き軌道再生(PTR)と組み合わせた新しいポリシーメソッドのクラス$-PPOを可能にする一貫した推定器を導出する。
論文 参考訳（メタデータ） (2026-07-18T23:28:20Z) - VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。
アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。
本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
論文 参考訳（メタデータ） (2026-06-18T09:44:12Z) - EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds [1.2183405753834562]
オフライン強化学習(RL)は、ログ化された遷移の固定バッチから決定ポリシーを学ぶことを目的としている。
本稿では,不確実性を即興的に保守的な政策改善に変換する統一的な枠組みであるEmphBayesian conservative Policy Optimization (BCPO)を提案する。
BCPOは環境/価値モデルよりも階層的なベイズ的後縁を維持し、アクション値に基づいてエンフレッシブルな下界(LCB)を構築し、明示的なKL正規化の下でポリシー更新を行う。
論文 参考訳（メタデータ） (2026-03-06T01:46:02Z) - Mitigating Mismatch within Reference-based Preference Optimization [55.07698254211876]
直接選好最適化(DPO)は、大規模な言語モデルのオフライン選好アライメントのデファクトスタンダードとなっている。
DPOは、信頼された領域内で更新を規則化することでトレーニングを安定化する参照に対して、各更新を重み付けする。
この依存は、参照モデルが拒否された応答を好む悲観的なペアにとって問題となる。
DPOを変更して、$_-_mathrmref$を$_-max0,_mathrmref$に置き換えることで、悲観的な場合、参照を中立的に扱うようにします。
論文 参考訳（メタデータ） (2026-02-12T12:55:51Z) - Distributionally Robust Policy Learning under Concept Drifts [33.44768994272614]
本稿では、より曖昧な問題、つまり、コンセプトドリフトの下でのロバストな政策学習について研究する。
まず、与えられた政策の最悪の平均報酬を評価するための2倍のロバスト推定器を提供する。
次に、所定のポリシークラス内で推定されたポリシー値を最大化するポリシーを出力する学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-18T19:53:56Z) - Verifiably Robust Conformal Prediction [1.391198481393699]
本稿では、ニューラルネットワーク検証手法を利用して、敵攻撃時のカバレッジ保証を回復する新しいフレームワークであるVRCP(Verifiably Robust Conformal Prediction)を紹介する。
私たちのメソッドは、回帰タスクだけでなく、$ell1$, $ell2$, $ellinfty$といった任意のノルムで束縛された摂動をサポートする最初の方法です。
いずれの場合も、VRCPは名目上の範囲を達成し、SotAよりもはるかに効率的で情報的な予測領域が得られる。
論文 参考訳（メタデータ） (2024-05-29T09:50:43Z) - Off-Policy Primal-Dual Safe Reinforcement Learning [16.918188277722503]
本研究では, 累積コスト推定における誤差が, 法外手法を用いた場合のコストの大幅な過小評価を引き起こすことを示す。
本稿では,予測の不確実性を考慮し,制約充足領域の政策を学習する保守的な政策最適化を提案する。
次に,評価の不確実性を徐々に減少させることにより,そのような過小評価の解消を支援するために,局所的な政策凸化を導入する。
論文 参考訳（メタデータ） (2024-01-26T10:33:38Z) - Correcting discount-factor mismatch in on-policy policy gradient methods [2.9005223064604078]
本稿では,ディスカウントされた定常分布を考慮した新しい分布補正を提案する。
我々のアルゴリズムは、いくつかのOpenAIジムとDeepMindスイートベンチマークにおいて、元のパフォーマンスと一貫して一致または上回っている。
論文 参考訳（メタデータ） (2023-06-23T04:10:58Z) - Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation [49.502277468627035]
本稿では,関数近似を用いたバッチデータ強化学習の統計的理論について検討する。
記録履歴から新たな対象政策の累積値を推定するオフ・ポリティクス評価問題を考察する。
論文 参考訳（メタデータ） (2020-02-21T19:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。