Fugu-MT 論文翻訳(概要): Ensuring Safety in an Uncertain Environment: Constrained MDPs via Stochastic Thresholds

論文の概要: Ensuring Safety in an Uncertain Environment: Constrained MDPs via Stochastic Thresholds

arxiv url: http://arxiv.org/abs/2504.04973v1
Date: Mon, 07 Apr 2025 11:58:19 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-08 14:15:41.576332
Title: Ensuring Safety in an Uncertain Environment: Constrained MDPs via Stochastic Thresholds
Title（参考訳）: 不確実な環境での安全確保:確率的閾値による制限されたMDP
Authors: Qian Zuo, Fengxiang He,
Abstract要約: 本稿では,マルコフ決定過程(CMDP)を推定しきい値に対する制約で制約し,未知かつ不確実な環境下での強化学習の安全性を目標とした。我々は、不確実で動的な環境との相互作用から得られたGrowingWindowサンプリングを利用して閾値を推定し、そのしきい値に対して複数の制約を課す新しいモデルベース原始双対アルゴリズムであるPSOT(Pessimistic-Optimistic Thresholding)を設計する。 SPOTは、しきい値が不明な不確実な環境で保証された性能を実現する最初の強化学習アルゴリズムである。
参考スコア（独自算出の注目度）: 28.4976864705409
License:
Abstract: This paper studies constrained Markov decision processes (CMDPs) with constraints against stochastic thresholds, aiming at safety of reinforcement learning in unknown and uncertain environments. We leverage a Growing-Window estimator sampling from interactions with the uncertain and dynamic environment to estimate the thresholds, based on which we design Stochastic Pessimistic-Optimistic Thresholding (SPOT), a novel model-based primal-dual algorithm for multiple constraints against stochastic thresholds. SPOT enables reinforcement learning under both pessimistic and optimistic threshold settings. We prove that our algorithm achieves sublinear regret and constraint violation; i.e., a reward regret of $\tilde{\mathcal{O}}(\sqrt{T})$ while allowing an $\tilde{\mathcal{O}}(\sqrt{T})$ constraint violation over $T$ episodes. The theoretical guarantees show that our algorithm achieves performance comparable to that of an approach relying on fixed and clear thresholds. To the best of our knowledge, SPOT is the first reinforcement learning algorithm that realises theoretical guaranteed performance in an uncertain environment where even thresholds are unknown.
Abstract（参考訳）: 本稿では,マルコフ決定過程(CMDP)を確率的しきい値に対する制約で制約し,未知かつ不確実な環境下での強化学習の安全性を目標とした。我々は,確率的しきい値に対する複数の制約に対する新しいモデルベース原始双対アルゴリズムであるStochastic Pessimistic-Optimistic Thresholding (SPOT) を設計した,不確実かつ動的環境との相互作用から抽出した成長ウィンドウ推定器を用いて閾値を推定する。 SPOTは悲観的および楽観的なしきい値設定の両方で強化学習を可能にする。例えば、$\tilde{\mathcal{O}}(\sqrt{T})$に対して、$\tilde{\mathcal{O}}(\sqrt{T})$$の制約違反を許容しながら、$\tilde{\mathcal{O}}(\sqrt{T})$の報酬後悔を実現する。理論的保証は、我々のアルゴリズムが、固定しきい値と明確なしきい値に依存するアプローチに匹敵する性能を達成することを示す。我々の知る限り、SPOTは、しきい値が不明な不確実な環境で理論的に保証された性能を実現する最初の強化学習アルゴリズムである。

関連論文リスト

Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [56.92178753201331]
平均逆無限水平POMDPを未知の遷移モデルで扱う。この障壁を克服する斬新でシンプルな推定器を提示する。
論文参考訳（メタデータ） (2025-01-30T22:29:41Z)
Echoes of Socratic Doubt: Embracing Uncertainty in Calibrated Evidential Reinforcement Learning [1.7898305876314982]
提案アルゴリズムは,共形推論の原理に基づいて,深い明解学習と量子キャリブレーションを組み合わせる。ミニチュア化されたアタリゲームスイート(MinAtar)でテストされる。
論文参考訳（メタデータ） (2024-02-11T05:17:56Z)
Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文参考訳（メタデータ） (2023-12-07T15:55:58Z)
A safe exploration approach to constrained Markov decision processes [7.036452261968767]
無限水平制約マルコフ決定過程(CMDP)について考察する。目標は、期待される累積的制約を満たしつつ、期待される累積的報酬を最大化する最適なポリシーを見つけることである。安全クリティカルなシステムに対するオンライン学習におけるCMDPの適用により、モデルフリーでエフェミュレータフリーなアルゴリズムの開発に焦点をあてる。
論文参考訳（メタデータ） (2023-12-01T13:16:39Z)
Risk-sensitive Markov Decision Process and Learning under General Utility Functions [3.069335774032178]
強化学習(Reinforcement Learning, RL)は、様々な応用分野や理論的研究において大きな注目を集めている。意思決定プロセス(MDP)の枠組みにおいて,意思決定者が累積報酬の汎用機能を最適化しようとするシナリオを考える。累積報酬の空間上でのエプシロン被覆を用いた修正値反復アルゴリズムを提案する。シミュレータが存在しない場合,提案アルゴリズムは高信頼度探索法を用いて設計され,ほぼ最適ポリシーを同定する。
論文参考訳（メタデータ） (2023-11-22T18:50:06Z)
Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
論文参考訳（メタデータ） (2022-01-21T02:46:57Z)
Concave Utility Reinforcement Learning with Zero-Constraint Violations [43.29210413964558]
本稿では,凸制約を伴うCURL(Concave utility reinforcement Learning)の問題点について考察する。制約違反をゼロにするモデルベース学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-09-12T06:13:33Z)
Adversarial Robustness Guarantees for Gaussian Processes [22.403365399119107]
ガウス過程(GP)は、モデルの不確実性の原理的計算を可能にし、安全性に重要なアプリケーションに魅力的です。境界付き摂動に対するモデル決定の不変性として定義されるGPの対向的堅牢性を分析するためのフレームワークを提案する。我々は境界を洗練し、任意の$epsilon > 0$に対して、我々のアルゴリズムが有限個の反復で実際の値に$epsilon$-closeの値に収束することを保証していることを示す分岐とバウンドのスキームを開発する。
論文参考訳（メタデータ） (2021-04-07T15:14:56Z)
Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文参考訳（メタデータ） (2020-06-18T19:04:09Z)
Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
マルコフ決定過程(CMDP)に対するオンライン学習の検討本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
論文参考訳（メタデータ） (2020-03-02T05:02:23Z)
Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。