論文の概要: Certifying Lower Bounds for Risk-Sensitive Reinforcement Learning under Adversarial State Perturbations
- arxiv url: http://arxiv.org/abs/2609.10866v1
- Date: Wed, 09 Sep 2026 22:06:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.145597
- Title: Certifying Lower Bounds for Risk-Sensitive Reinforcement Learning under Adversarial State Perturbations
- Title（参考訳）: 逆境状態摂動下におけるリスク感性強化学習のための下位境界の認定
- Abstract要約: 強化学習(RL)エージェントは、状態観察における敵の摂動に対して脆弱であることが多い。
しかし、既存の認証手法は主にリスクニュートラルな目標に焦点を当てている。
累積報酬の指数的効用に対する限界を低くすることで、リスクに敏感な目標に認定方法を拡張する。
- 参考スコア（独自算出の注目度）: 4.172631330662646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) agents deployed in real-world environments are often vulnerable to adversarial perturbations in state observations, creating risks in safety-critical applications. Certification methods can improve robustness against adversarial perturbations by providing lower bounds on expected cumulative rewards. Existing certification methods, however, mainly focus on risk-neutral objectives. In this paper, we extend certification methods to risk-sensitive objectives by establishing lower bounds on the exponential utility of cumulative rewards under $l_{p}$-norm-bounded state adversarial perturbations ($1\leq p <\infty$). By introducing a $φ$-divergence relaxation of the perturbation set, we formulate the risk-sensitive certification problem as a convex optimization and derive its dual to obtain a tractable approximation of the certified lower bound. We further propose an empirical method that improves certified lower bounds by selecting the training risk-aversion parameter $β$ independently of the risk level used during evaluation. Experiments on both OpenAI Gym environments and a machine replacement problem show that, compared to risk-neutral training, risk-averse training generally yields policies with higher certified lower bounds, particularly under larger perturbation budgets. Moreover, under both risk-neutral and risk-averse evaluation settings, increasing risk aversion during training leads to non-monotonic certification performance, where certified lower bounds initially improve but eventually decrease due to overly conservative policies.
- Abstract（参考訳）: 実環境に展開される強化学習(RL)エージェントは、状態観察における敵の摂動に対して脆弱であり、安全クリティカルな応用のリスクを生じさせる。
証明法は、期待累積報酬の低い境界を提供することにより、敵の摂動に対する堅牢性を向上させることができる。
しかし、既存の認証手法は主にリスクニュートラルな目標に焦点を当てている。
本稿では,<sup>l_{p}$-norm-bounded state adversarial perturbations$1\leq p <\infty$。
摂動集合の$φ$-divergence 緩和を導入することで、危険に敏感な認証問題を凸最適化として定式化し、その双対を導出し、証明された下界の抽出可能な近似を得る。
さらに,評価に使用するリスクレベルとは無関係に,トレーニングリスク変換パラメータ$β$を選択することにより,認定下限を改善する経験的手法を提案する。
OpenAI Gym環境と機械置換問題の両方の実験では、リスクニュートラルトレーニングと比較すると、リスク逆トレーニングは一般的に、特に大きな摂動予算の下で、高い認定下限の政策をもたらすことが示されている。
さらに, リスクニュートラルとリスク逆評価の両条件下では, トレーニング中のリスク回避が増大すると, 非モノトニック認定の性能が向上するが, 過度に保守的な政策によって低下する。
関連論文リスト
- Action-Conditioned Risk Gating for Safety-Critical Control under Partial Observability [79.08785366532287]
部分観測可能性下でのリスク感応制御のための軽量なリスクゲート強化学習近似を提案する。
安全クリティカルな部分観測可能な2つの領域 – 自動グルコース調節と安全制約ナビゲーション – でアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-14T01:23:09Z) - Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning [2.9184958249079975]
既存の防衛は、限られた保護を提供するか、安全と実用性の間のトレードオフを強制する。
安全リスクに応じて正規化を適応するトレーニングフレームワークを導入する。
前世代の活性化から有害な意図信号が予測可能であることを実証的に検証する。
論文 参考訳（メタデータ） (2026-02-19T16:59:54Z) - Constrained Language Model Policy Optimization via Risk-aware Stepwise Alignment [49.2305683068875]
本稿では,リスク認識を政策最適化プロセスに組み込んだ新しいアライメント手法であるリスク対応ステップワイドアライメント(RSA)を提案する。
RSAは、過剰なモデルシフトによって引き起こされるリスクを基準方針から緩和し、低確率で高影響の有害な振る舞いを明示的に抑制する。
実験により, 本手法は高い安全性を確保しつつ, 高い安全性を達成できることが確認された。
論文 参考訳（メタデータ） (2025-12-30T14:38:02Z) - RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。
リスク概念空間を再構築する理論的枠組みを導入する。
マルチエージェント協調評価フレームワークRADARを提案する。
論文 参考訳（メタデータ） (2025-09-28T09:35:32Z) - Optimistic Exploration for Risk-Averse Constrained Reinforcement Learning [7.521846452365555]
リスク・アバース制約強化学習(RaCRL)は、稀かつ破滅的な制約違反の可能性を最小限に抑える政策を学ぶことを目的としている。
我々は,ORAC(Optimistic Risk-averse Actor Critic)と呼ばれるRaCRLの探索に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2025-07-11T17:54:54Z) - Reward Certification for Policy Smoothed Reinforcement Learning [14.804252729195513]
強化学習(Reinforcement Learning, RL)は、安全クリティカルな分野において大きな成功を収めた。
近年の研究では、その堅牢性を高めるために「平滑な政策」を導入している。
報酬の総額を認定する証明可能な保証を確立することは依然として困難である。
論文 参考訳（メタデータ） (2023-12-11T15:07:58Z) - Safe Deployment for Counterfactual Learning to Rank with Exposure-Based
Risk Minimization [63.93275508300137]
本稿では,安全な配置を理論的に保証する新たなリスク認識型対実学習ランク法を提案する。
提案手法の有効性を実験的に検証し,データが少ない場合の動作不良の早期回避に有効であることを示す。
論文 参考訳（メタデータ） (2023-04-26T15:54:23Z) - A Risk-Sensitive Approach to Policy Optimization [21.684251937825234]
標準深層強化学習(DRL)は、政策の定式化における収集経験を均等に考慮し、期待される報酬を最大化することを目的としている。
そこで本研究では,フルエピソード報酬の分布の累積分布関数 (CDF) で規定されるリスク感性目標を最適化する,より直接的なアプローチを提案する。
エージェントの動作が不十分なシナリオを強調する中程度の「悲観的」リスクプロファイルの使用が,探索の強化と,障害への継続的な対処に繋がることを示す。
論文 参考訳（メタデータ） (2022-08-19T00:55:05Z) - Efficient Risk-Averse Reinforcement Learning [79.61412643761034]
リスク逆強化学習(RL)では、リターンのリスク測定を最適化することが目標である。
特定の条件下では、これは必然的に局所最適障壁につながることを証明し、それを回避するためのソフトリスク機構を提案する。
迷路ナビゲーション,自律運転,資源配分ベンチマークにおいて,リスク回避の改善を示す。
論文 参考訳（メタデータ） (2022-05-10T19:40:52Z) - Learning Bounds for Risk-sensitive Learning [86.50262971918276]
リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。
最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
論文 参考訳（メタデータ） (2020-06-15T05:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。