論文の概要: Safe on Average, Unsafe in the Tail: When Is the Episodic-Cost Tail Controllable?
- arxiv url: http://arxiv.org/abs/2610.09508v1
- Date: Wed, 07 Oct 2026 06:07:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.745872
- Title: Safe on Average, Unsafe in the Tail: When Is the Episodic-Cost Tail Controllable?
- Title（参考訳）: 安全・安全・安全対策 : エピソード・コスト・タイルはいつ制御可能か?
- Abstract要約: エピソードの10%の平均コストである$mathrmCVaR_0.1$を用いて,エピソードコストを計測した。
これにより、まず、平均的に安全だが、テールで安全でないポリシーを特定し、リターンを保ちながらテール違反を制御できるかどうかを調べることができます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safe reinforcement learning seeks policies that maximize return while satisfying constraints on cumulative cost. Most methods impose these constraints on expected episodic cost. Consequently, standard evaluations report mean episodic cost without characterizing how cost is distributed across episodes. A policy that satisfies the mean-cost criterion may therefore remain unsafe in its worst episodes. Mean-cost reporting neither identifies this tail violation nor shows whether it can be brought within budget while preserving return. In this work, we measure the episodic-cost tail using $\mathrm{CVaR}_{0.1}$, the average cost of the worst $10\%$ of episodes. We classify a policy as tail-safe when $\mathrm{CVaR}_{0.1}$ is within the safety budget. This allows us first to identify policies that are safe on average but unsafe in the tail and then to study whether their tail violations can be controlled while preserving return. To identify tail-unsafe policies, we evaluate five standard algorithms on three Safety-Gymnasium navigation tasks. We then examine four constraint families on dense-hazard navigation and assess tail control across four navigation and four locomotion tasks.
- Abstract（参考訳）: 安全強化学習は、累積コストの制約を満たしながらリターンを最大化する政策を求める。
ほとんどの方法は、予想されるエピソードコストにこれらの制約を課している。
その結果、標準的な評価では、エピソードごとのコストの分散を特徴付けることなく、エピソードコストを見積もっている。
したがって、平均的なコスト基準を満たす政策は、最悪のエピソードでは安全ではないかもしれない。
平均的なコスト報告は、このテール違反を特定したり、返却を保ちながら予算内に持ってこられるかどうかを示さない。
本研究では, エピソードの平均コストである$\mathrm{CVaR}_{0.1}$を用いて, エピソード・コスト・テールを測定した。
安全予算内に$\mathrm{CVaR}_{0.1}$がある場合、ポリシーをテールセーフに分類する。
これにより、まず、平均的に安全だが、テールで安全でないポリシーを特定し、リターンを保ちながらテール違反を制御できるかどうかを調べることができます。
テールアンセーフポリシーを特定するために,3つのセーフティ・ジムナシウムナビゲーションタスクにおいて,5つの標準アルゴリズムを評価する。
次に、高密度ハザードナビゲーションにおける4つの制約家族について検討し、4つのナビゲーションと4つの移動タスクにおけるテール制御を評価する。
関連論文リスト
- Instance-Dependent Regret for CMDPs with Step-Wise Constraints [14.423965854349262]
本稿では,段階的安全性制約によるマルコフ決定過程におけるオンライン学習について検討する。
本稿では,安全な部分グラフを効率よく学習する SVAE (Safe Variance-Adaptive Exploration) を提案する。
SVAEは$widetildemathcalO(sqrtSAHminmathbbV_,KmathrmVarstar+SsqrtAH3minK,mathcalC+S2AH2)$ over $K$の累積後悔を実現する。
論文 参考訳（メタデータ） (2026-10-01T21:49:16Z) - Humanoid Safe Stop via Learned Stoppability Value [61.25464390942355]
本稿では,学習した停止ポリシーと学習した停止可能性推定器を組み合わせたタスク非依存のフレームワークを提案する。
推定器は、固定された停止ポリシーの実際の結果によって監督される停止確率推定器と、ハミルトン・ヤコビの物理的状態に対するバックアップによって監督される到達回避推定器である。
論文 参考訳（メタデータ） (2026-09-02T09:29:39Z) - Tail-Risk-Safe Monte Carlo Tree Search under PAC-Level Guarantees [22.591358065741357]
モンテカルロ・ツリー・サーチで期待されるリターンのみに関する意思決定は、意思決定に関連するリスクの高い、有害な結果の潜在的な範囲を考慮できない。
これらのアプローチは、極端な結果やリスクの高い結果に関して厳格なテールセーフティ保証を提供することができない。
本稿では,この問題を2つの新しい解法によって解決する。
論文 参考訳（メタデータ） (2025-08-07T14:31:22Z) - SaVeR: Optimal Data Collection Strategy for Safe Policy Evaluation in Tabular MDP [9.71834921109414]
表型マルコフ決定過程(MDP)における政策評価を目的とした安全なデータ収集について検討する。
まず、問題パラメータに関する知識を持つ安全なオラクルアルゴリズムが、データを効率よく収集し、安全性の制約を満たすような、難解なMDPのクラスが存在することを示す。
次に、この問題に対するアルゴリズムSaVeRを導入し、安全オラクルアルゴリズムを近似し、アルゴリズムの有限サンプル平均二乗誤差を拘束し、安全性の制約を満たすことを保証する。
論文 参考訳（メタデータ） (2024-06-04T09:54:55Z) - Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。
このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。
本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
論文 参考訳（メタデータ） (2023-02-20T15:24:06Z) - A Simple and Optimal Policy Design with Safety against Heavy-Tailed Risk for Stochastic Bandits [27.058087400790555]
マルチアームバンディット問題について検討し,期待された後悔に対する最悪のケース最適性と,後悔の分布に対する軽微なリスクの両方を享受する新しいポリシーを設計する。
経営的な観点から、我々の新しい政策設計は、より良い尾の分布をもたらし、祝福された政策よりも好まれることがわかった。
論文 参考訳（メタデータ） (2022-06-07T02:10:30Z) - Enhancing Safe Exploration Using Safety State Augmentation [71.00929878212382]
モデルフリー強化学習における安全な探索の課題に取り組む。
トレーニング中に安全予算をスケジューリングするためのポリシーを導出します。
Simmer はトレーニングを安定させ,安全RL の性能を平均的制約で向上させることができることを示す。
論文 参考訳（メタデータ） (2022-06-06T15:23:07Z) - Safe Exploration for Constrained Reinforcement Learning with Provable
Guarantees [2.379828460137829]
そこで我々は,OPSRL(Optimistic-Pessimistic Safe Reinforcement Learning)アルゴリズムと呼ぶモデルベースの安全なRLアルゴリズムを提案する。
学習中の安全性制約に違反することなく, $tildemathcalO(S2sqrtA H7K/ (barC - barC_b)$ cumulative regretを達成できることを示す。
論文 参考訳（メタデータ） (2021-12-01T23:21:48Z) - Conservative Policy Construction Using Variational Autoencoders for
Logged Data with Missing Values [77.99648230758491]
特徴属性に値が欠けている場合にログデータを用いてパーソナライズされたポリシーを構築することの問題点を考察する。
目標は、値が不足している$Xt$の劣化したバージョンである$Xb$が観測された場合、アクションを推奨することである。
特に,不確かさによる不確実性に対処するためにポリシーを設計したテキスト保守戦略を導入する。
論文 参考訳（メタデータ） (2021-09-08T16:09:47Z) - Safe Reinforcement Learning with Linear Function Approximation [48.75026009895308]
我々は、状態と行動の未知の線形コスト関数として安全を導入し、それは常に一定の閾値以下でなければならない。
次に,線形関数近似を用いたマルコフ決定過程(MDP)について,SLUCB-QVIおよびRSLUCB-QVIと呼ぶアルゴリズムを提案する。
SLUCB-QVI と RSLUCB-QVI は、Emphno safety violation で $tildemathcalOleft(kappasqrtd3H3Tright)$ regret, almost matching を達成した。
論文 参考訳（メタデータ） (2021-06-11T08:46:57Z) - Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。
本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-01T17:47:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。