論文の概要: Rare Event Constrained Reinforcement Learning with Large Deviations

• arxiv url: http://arxiv.org/abs/2611.02055v1
• Date: Sun, 01 Nov 2026 16:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-12 06:27:56.197488
• Title: Rare Event Constrained Reinforcement Learning with Large Deviations
• Title（参考訳）: 大規模偏差を用いた希少事象制約強化学習
• Abstract要約: 安全制約付き有限水平強化学習において,障害セットに到達する確率について検討した。 十分に研究されている安全強化学習文献とは対照的に,障害セットに到達する確率が著しく小さい問題を考える。 故障確率が極端に小さい場合、最適政策の直接シミュレーションと推定は自然に効果がない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study finite-horizon reinforcement learning with a safety constraint on the probability of reaching a failure set. In contrast to the well-studied safe reinforcement learning literature, we consider problems where the probability of reaching the failure set is vanishingly small, but the consequences of reaching the failure set are catastrophic. Direct simulation and estimation of the optimal policy is naturally ineffective when the failure probability is extremely small. Moreover, on a real system the controller can only choose actions, and this is not enough to make failures frequent. In contrast to the rare event simulation literature, our goal is not to estimate the probability of the rare event occurrence, but to upper bound it such that the failure constraint is satisfied. Thus, instead of sampling failures, we use the large deviations principle. We define a damage variable that on exceeding a certain threshold indicates failure. We study the cumulant generating function (CGF) as its positive root provides an upper bound on the failure probability via Cramer's theorem. We extend this approach to Markov decision processes with hitting times through state-action CGFs, and give finite-horizon and state-dependent versions of the bound. The state-action CGFs do not depend on the policy and can be estimated from regular transitions, so the bound can be checked for any policy a priori. This gives a policy improvement algorithm in which every policy satisfies the failure constraint with high probability.
• Abstract（参考訳）: 安全制約付き有限水平強化学習において,障害セットに到達する確率について検討した。 十分に研究されている安全な強化学習文献とは対照的に、障害セットに到達する確率が著しく小さい問題を考えるが、障害セットに到達する結果が破滅的なものである。 故障確率が極端に小さい場合、最適政策の直接シミュレーションと推定は自然に効果がない。 さらに、実際のシステムでは、コントローラはアクションのみを選択することができ、これは失敗を頻繁にするには不十分である。 稀な事象シミュレーションの文献とは対照的に,我々の目標は,稀な事象の発生確率を推定することではなく,障害の制約が満たされるように上限を上限にすることである。 したがって、失敗をサンプリングする代わりに、大きな偏差原理を用いる。 特定のしきい値を超えると故障を示す損傷変数を定義する。 累積生成関数 (CGF) を正の根として研究し、クラマーの定理による失敗確率の上限を与える。 このアプローチをマルコフ決定過程に拡張し、状態-作用 CGF を通じて時間を打つとともに、境界の有限水平および状態依存バージョンを与える。 状態-作用 CGF はポリシーに依存せず、通常の遷移から推定できるので、境界は事前のポリシーでチェックできる。 これにより、すべてのポリシが障害制約を高い確率で満たすポリシ改善アルゴリズムが提供される。

関連論文リスト

• Learning Chance-Constrained MDPs with Bellman Distributional Certificates [0.15960546024967323]
  安全強化学習(RL)は、期待されるコスト制約を強制するが、そのような期待は、高コスト軌道の確率を制御できない可能性がある。 本稿では,モデルに基づくモデルに基づくオラクルを構築する。
  論文  参考訳（メタデータ） (2026-09-25T06:03:03Z)
• Beyond Average Safety: Chance-Constrained LLM Fine-tuning [10.685380941330687]
  微調整された大きな言語モデルは、有用性、命令従順性、ドメイン固有のパフォーマンスを改善することができる。 既存の安全保存細調整法は、平均的な安全損失を制御するか、重み付けされた補助罰則を使用する。 本稿では、基準モデルに対する劣化が所定の閾値を超えた安全事例のごく一部を制限する、安全保存微調整のための機会拘束型定式化を提案する。
  論文  参考訳（メタデータ） (2026-09-24T15:17:58Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Rectified Robust Policy Optimization for Model-Uncertain Constrained Reinforcement Learning without Strong Duality [53.525547349715595]
  我々はRectified Robust Policy Optimization (RRPO) と呼ばれる新しいプライマリのみのアルゴリズムを提案する。 RRPOは双対の定式化に頼ることなく、主問題に直接作用する。 我々は、最もよく知られた下界と一致する複雑性を持つ、ほぼ最適な実現可能なポリシーに収束することを示す。
  論文  参考訳（メタデータ） (2025-08-24T16:59:38Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• A Deep Reinforcement Learning Approach to Rare Event Estimation [30.670114229970526]
  自律システムの設計における重要なステップは、失敗が起こる確率を評価することである。 安全クリティカルな領域では、モンテカルロサンプリングによる政策の評価が非効率であるように、失敗確率は非常に小さい。 逐次意思決定システムにおいて、稀な事象の確率を効率的に推定できる2つの適応的重要度サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-11-22T18:29:14Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Excursion Search for Constrained Bayesian Optimization under a Limited Budget of Failures [62.41541049302712]
  本稿では,所定の予算の失敗の関数として探索において許容されるリスクの量を制御する制御理論に基づく新しい意思決定者を提案する。 本アルゴリズムは, 種々の最適化実験において, 故障予算をより効率的に利用し, 一般に, 最先端の手法よりも, 後悔度を低くする。
  論文  参考訳（メタデータ） (2020-05-15T09:54:09Z)
• Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes [5.081241420920605]
  マルコフ決定プロセス(MDPs)は、確率的不確実性の存在下でのシーケンシャルな意思決定のためのデファクト・フレームワークである。 破滅的な結果が再帰する障害状態と相まって, 対価を割引したMDPについて検討する。 我々の主な貢献は、UDTのような探索とMDPとの学習的相互作用を組み合わせた効率的なリスク制約型プランニングアルゴリズムである。
  論文  参考訳（メタデータ） (2020-02-27T13:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。