論文の概要: Deep catastrophic-risk-aware reinforcement learning

• arxiv url: http://arxiv.org/abs/2610.27214v1
• Date: Mon, 19 Oct 2026 19:44:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.486361
• Title: Deep catastrophic-risk-aware reinforcement learning
• Title（参考訳）: 深発病リスクを意識した強化学習
• Abstract要約: エクストリームバリュー理論(EVT)は、条件付きバリュー・アット・リスク(CVaR)最適化のためのアプローチである。 極度リスクに関する観測が不十分な場合,EVTは神経政策のトレーニングに実用的な代替手段を提供することができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating extreme risk in reinforcement learning becomes increasingly difficult as the confidence level increases, since only a small number of observations contribute to empirical estimates of Conditional Value-at-Risk (CVaR). In this paper, we extend an Extreme Value Theory (EVT) approach for CVaR optimization to high-dimensional neural-network policies. Using a peaks-over-threshold representation and method-of-moments estimation, we obtain a differentiable tail-risk objective and show that, conditional on the selected threshold, its finite-sample gradient can be computed directly through automatic differentiation. We first validate the approach in a controlled experiment with a known optimal solution and then investigate its performance in a deep-hedging problem with rare extreme market movements. Our results show similar hedging behavior for EVT- and empirical-CVaR-trained policies under normal conditions, while EVT-trained policies exhibit lower hedging losses under the extreme-scenario evaluation across the training sample sizes considered. These results suggest that EVT can provide a practical alternative for training neural policies when the observations relevant to extreme risk are scarce.
• Abstract（参考訳）: 信頼度が高まるにつれて、強化学習における極端なリスクの推定はますます難しくなり、少数の観測のみが条件付き価値(CVaR)の実証的な推定に寄与する。 本稿では,CVaR最適化のための極値理論(EVT)アプローチを高次元ニューラルネットワークポリシーに拡張する。 ピーク・オーバー・スレッショルド表現とメソッド・オブ・モーメント推定を用いて、微分可能なテールリスク目標を求め、選択されたしきい値に条件付きで、その有限サンプル勾配を自動微分により直接計算できることを示す。 まず、最適解の制御実験を行い、希少な市場移動を伴うディープヘッジ問題において、その性能を検証した。 本研究は,通常の条件下でのEVT-および経験的CVaR-トレーニングポリシーと類似したヘッジ動作を示し,EVT-トレーニングポリシーは,トレーニングサンプルサイズで検討した極度に評価されたヘッジ損失の低減を示す。 これらの結果から、EVTは、極度のリスクに関する観察が不足している場合に、神経政策の訓練に実用的な代替手段を提供することができることが示唆された。

関連論文リスト

• On the Generalization and Robustness in Conditional Value-at-Risk [12.253712889424584]
  重み付き汚染データに基づく条件付きリスク最小化(CVaR)の学習理論的解析法を開発した。 極小モーメント仮定の下で、鋭く高確率な一般化と過剰なリスク境界を確立する。 CVaR決定自体が本質的に不安定であることを示す。
  論文  参考訳（メタデータ） (2026-02-20T08:10:11Z)
• Risk-averse Learning with Non-Stationary Distributions [18.15046585146849]
  本稿では,ランダムなコスト分布が時間とともに変化するリスク-逆オンライン最適化について検討する。 リスクの条件値(CVaR)をリスク尺度として用いたリスク逆目的関数を最小化する。 設計した学習アルゴリズムは,凸関数と凸関数の両方に対して高い確率で線形動的後悔を実現する。
  論文  参考訳（メタデータ） (2024-04-03T18:16:47Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• Towards Safe Reinforcement Learning via Constraining Conditional Value-at-Risk [30.229387511344456]
  本稿では,CVaR を所定の閾値以下に保ち,リスクに敏感な制約付き最適化問題を定式化する CVaR-Proximal-Policy-Optimization (CPPO) の新たな強化学習アルゴリズムを提案する。 実験の結果,CPPOは高い累積報酬を達成し,観察および遷移障害に対してより堅牢であることがわかった。
  論文  参考訳（メタデータ） (2022-06-09T11:57:54Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Active Deep Learning on Entity Resolution by Risk Sampling [5.219701379581547]
  アクティブラーニング(al)は、モデルトレーニングに有用なデータに焦点を当てた、実現可能なソリューションである。 実体解決のためのリスクサンプリング(ER)の新たなALアプローチを提案する。 ALのコアセット特性に基づいて、非一様連続性によるコアセット損失を最小限に抑える最適化モデルを理論的に導出する。 実データに対する提案手法の有効性を比較検討により実証的に検証した。
  論文  参考訳（メタデータ） (2020-12-23T20:38:25Z)
• Learning Bounds for Risk-sensitive Learning [86.50262971918276]
  リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。 最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
  論文  参考訳（メタデータ） (2020-06-15T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。