論文の概要: Provably Efficient Risk-Sensitive Offline Reinforcement Learning via Optimized Certainty Equivalents

• arxiv url: http://arxiv.org/abs/2610.21870v1
• Date: Thu, 15 Oct 2026 13:41:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.092725
• Title: Provably Efficient Risk-Sensitive Offline Reinforcement Learning via Optimized Certainty Equivalents
• Title（参考訳）: 最適不確実性等価性を用いたリスク感応性オフライン強化学習の確率的効率化
• Abstract要約: リスクに敏感な強化学習は、不確実性と有害な結果の下での意思決定に対処する。 既存のリスクに敏感なRLの研究は、オンライン設定や特定のリスク対策に重点を置いている。 最適化された確実性等価性を用いて、効率的なオフラインリスク感応性RLについて検討する。
• 参考スコア（独自算出の注目度）: 20.004828637340324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Risk-sensitive reinforcement learning (RL) addresses decision-making under uncertainty and adverse outcomes. Learning risk-sensitive policies from fixed datasets is important when additional interaction with the environment is costly. Existing work on risk-sensitive RL focuses on online settings or specific risk measures, leaving a general theoretical understanding of its offline setting underdeveloped. In this work, we investigate efficient offline risk-sensitive RL using the optimized certainty equivalent (OCE), a general class of risk measures. We consider two formulations: dynamic-OCE RL, which applies OCE recursively at each step, and static-OCE RL, which applies a single OCE to the cumulative rewards. Under the tabular setting, we develop pessimistic value-iteration algorithms for both formulations and establish tight sublinear suboptimality bounds, explicitly capturing how risk sensitivity, encoded by utility functions, affects learning difficulty. Moreover, we establish minimax suboptimality lower bounds to characterize the problem's fundamental limits. To handle large state spaces, we further develop pessimistic least-squares value-iteration algorithms that incorporate the general OCE risk criterion into linear function approximation. We establish utility-dependent sublinear guarantees with explicit dependence on the feature dimension $d$. To our knowledge, we provide the first offline algorithms along with the first upper and lower suboptimality bounds for both dynamic- and static-OCE RL.
• Abstract（参考訳）: リスクに敏感な強化学習(RL)は、不確実性と有害な結果の下での意思決定に対処する。 環境とのさらなるインタラクションにコストがかかる場合には、固定データセットからリスクに敏感なポリシを学ぶことが重要です。 既存のリスクに敏感なRLの研究は、オンライン設定や特定のリスク対策に重点を置いており、オフライン設定に関する一般的な理論的理解は未発達のままである。 本研究は,リスク尺度の一般クラスである最適化された確実性等価(OCE)を用いて,効率的なオフラインリスク感応性RLについて検討する。 各ステップで OCE を再帰的に適用する dynamic-OCE RL と,累積報酬に 1 つの OCE を適用する static-OCE RL という2つの定式化を考える。 表面設定の下では、両定式化のための悲観的値定式化アルゴリズムを開発し、リスク感度が実用関数によって符号化された場合の学習難易度にどのように影響するかを明確に把握する。 さらに,問題の基本的限界を特徴付けるために,極小最適下限を定めている。 大規模状態空間を扱うために、線形関数近似に一般のOCEリスク基準を組み込む悲観的最小二乗値イテレーションアルゴリズムをさらに開発する。 機能ディメンション$d$に明示的に依存したユーティリティ依存サブリニア保証を確立します。 我々の知る限り、我々は第1のオフラインアルゴリズムと、動的および静的OCE RLの両方に対する第1の上下下位最適境界を提供する。

関連論文リスト

• Risk-sensitive Actor-Critic with Static Spectral Risk Measures for Online and Offline Reinforcement Learning [4.8342038441006805]
  静的スペクトルリスク対策(SRM)の最適化のための新しい枠組みを提案する。 我々のアルゴリズムは、さまざまなドメインにわたるオンラインとオフラインの両方の環境において、既存のリスクに敏感な手法より一貫して優れています。
  論文  参考訳（メタデータ） (2025-07-05T04:41:54Z)
• Pessimism Meets Risk: Risk-Sensitive Offline Reinforcement Learning [19.292214425524303]
  リスクに敏感な強化学習(RL)は,不確実性を管理し,潜在的な有害な結果を最小限に抑えることが不可欠であるシナリオにおいて,意思決定を強化する能力において重要な分野である。 本研究は, エントロピーリスク尺度をRL問題に適用することに焦点を当てる。 我々は,リスクに敏感な観点からはまだ検討されていない理論的枠組みである線形マルコフ決定プロセス(MDP)の設定を中心としている。
  論文  参考訳（メタデータ） (2024-07-10T13:09:52Z)
• A Reductions Approach to Risk-Sensitive Reinforcement Learning with Optimized Certainty Equivalents [44.09686403685058]
  本研究の目的は,累積報酬のリスク尺度を最適化する履歴依存政策を学習することである。 楽観主義に基づくメタアルゴリズムと政策勾配に基づくメタアルゴリズムを提案する。 我々は,提案アルゴリズムが概念実証MDPで最適な履歴依存ポリシーを学習できることを実証的に示す。
  論文  参考訳（メタデータ） (2024-03-10T21:45:12Z)
• DRL-ORA: Distributional Reinforcement Learning with Online Risk Adaption [9.191326295161725]
  オンラインリスク適応型分散RL(DRL-ORA)を提案する。 このフレームワークは、既存のリスク適応アプローチを統一し、より良い説明可能性と柔軟性を提供する。 DRL-ORAは、複数のタスクのクラスにおいて、固定リスクレベルや手動で設計したリスクレベル適応に依存する既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-08T14:32:23Z)
• Provably Efficient Iterated CVaR Reinforcement Learning with Function Approximation and Human Feedback [57.6775169085215]
  リスクに敏感な強化学習は、期待される報酬とリスクのバランスをとるポリシーを最適化することを目的としている。 本稿では,線形および一般関数近似の下で,CVaR(Iterated Conditional Value-at-Risk)を目標とする新しいフレームワークを提案する。 本稿では,この反復CVaR RLに対するサンプル効率の高いアルゴリズムを提案し,厳密な理論的解析を行う。
  論文  参考訳（メタデータ） (2023-07-06T08:14:54Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• Learning Bounds for Risk-sensitive Learning [86.50262971918276]
  リスクに敏感な学習では、損失のリスク・アバース(またはリスク・シーキング)を最小化する仮説を見つけることを目的としている。 最適化された確実性等価性によって最適性を記述するリスク感応学習スキームの一般化特性について検討する。
  論文  参考訳（メタデータ） (2020-06-15T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。