論文の概要: Pessimistic Risk-Aware Policy Learning in Contextual Bandits

• arxiv url: http://arxiv.org/abs/2605.15620v1
• Date: Fri, 15 May 2026 05:02:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.176919
• Title: Pessimistic Risk-Aware Policy Learning in Contextual Bandits
• Title（参考訳）: 文脈帯域における悲観的リスク認識型政策学習
• Authors: Yilong Wan, Yuqiang Li, Xianyi Wu,
• Abstract要約: 本稿では,一般的なリスク基準の下で最適なログデータから決定ルールを学習することを目的とした,リスク対応型オフライン政策学習について検討する。 本稿では,リプシッツ連続リスク関数を最適化するための統一分布フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.085723806353297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study risk-aware offline policy learning, aiming to learn a decision rule from logged data that is optimal under general risk criteria. This problem is crucial in high-stakes domains where online interaction is infeasible and adverse outcomes must be carefully controlled. However, existing literature on offline contextual bandits either centers on expected-reward criteria or restricts risk considerations to policy evaluation instead of optimization. In this work, we propose a unified distributional framework for optimizing Lipschitz-continuous risk functionals, a broad class of risk measures encompassing mean-variance, entropic risk, and conditional value-at-risk, among others. By developing novel empirical concentration inequalities for importance sampling-based distributional estimators, our analysis derives data-dependent suboptimality bounds with an $\tilde{\mathcal{O}}(1/\sqrt{n})$ rate, without relying on restrictive uniform overlap assumptions. This rate is minimax optimal and matches that of risk-neutral offline policy optimization, indicating that optimizing general Lipschitz risk criteria incurs no additional statistical cost relative to the expected-reward.
• Abstract（参考訳）: 本稿では,一般的なリスク基準の下で最適なログデータから決定ルールを学習することを目的とした,リスク対応型オフライン政策学習について検討する。 この問題は、オンラインインタラクションが不可能で、有害な結果が慎重に制御されなければならない、ハイテイクな領域において重要である。 しかし、オフラインの文脈的包帯に関する既存の文献は、期待・回帰基準に集中するか、最適化ではなく、リスク考慮を政策評価に限定するかのどちらかである。 本研究では,Lipschitz-Continuous risk functionalsを最適化するための統一的な分散フレームワークを提案する。 重要サンプリングに基づく分布推定器のための新しい実験的な濃度不等式を開発することにより,データ依存の準最適値境界を$\tilde{\mathcal{O}}(1/\sqrt{n})$レートで導出する。 この速度は最小限最適であり、リスクニュートラルなオフラインポリシーの最適化と一致しており、一般リプシッツリスク基準の最適化は予想されるリワードに対する追加の統計コストを生じさせないことを示している。

関連論文リスト

• Constrained Language Model Policy Optimization via Risk-aware Stepwise Alignment [49.2305683068875]
  本稿では,リスク認識を政策最適化プロセスに組み込んだ新しいアライメント手法であるリスク対応ステップワイドアライメント(RSA)を提案する。 RSAは、過剰なモデルシフトによって引き起こされるリスクを基準方針から緩和し、低確率で高影響の有害な振る舞いを明示的に抑制する。 実験により, 本手法は高い安全性を確保しつつ, 高い安全性を達成できることが確認された。
  論文  参考訳（メタデータ） (2025-12-30T14:38:02Z)
• Risk-sensitive Actor-Critic with Static Spectral Risk Measures for Online and Offline Reinforcement Learning [4.8342038441006805]
  静的スペクトルリスク対策(SRM)の最適化のための新しい枠組みを提案する。 我々のアルゴリズムは、さまざまなドメインにわたるオンラインとオフラインの両方の環境において、既存のリスクに敏感な手法より一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-05T04:41:54Z)
• Risk-averse Total-reward MDPs with ERM and EVaR [12.719528972742394]
  リスク・アバースの総報酬基準は定常政策によって最適化可能であることを示す。 以上の結果から, リスク回避型強化学習領域において, 全報酬基準が割引基準よりも望ましい可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-30T13:33:18Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• One Risk to Rule Them All: A Risk-Sensitive Perspective on Model-Based Offline Reinforcement Learning [25.218430053391884]
  両問題に共同で対処するためのメカニズムとしてリスク感受性を提案する。 相対的不確実性へのリスク回避は、環境に悪影響を及ぼす可能性のある行動を妨げる。 実験の結果,提案アルゴリズムは決定論的ベンチマーク上での競合性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-11-30T21:24:11Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk [32.97618081988295]
  本稿では,学習方針の準最適性に厳密な上限を与え,その目的の非線形性とリスク回避の度合いへの依存性を特徴付ける。 従来の制限を克服するために, 状態分布の重み付けを用いたPGの実践的実装を提案する。
  論文  参考訳（メタデータ） (2021-03-04T04:11:09Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。