論文の概要: Online Policy Evaluation for MDPs with Dynamic UBSR Measures

• arxiv url: http://arxiv.org/abs/2607.23030v1
• Date: Sat, 25 Jul 2026 04:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:14.970946
• Title: Online Policy Evaluation for MDPs with Dynamic UBSR Measures
• Title（参考訳）: UBSR動的対策によるMDPのオンライン政策評価
• Abstract要約: マルコフ決定過程におけるポリシー評価のための効率的なオンライン学習アルゴリズムを提案する。 UBSR-TDアルゴリズムを導入し、ほぼ確実に収束する条件を確立し、収束を加速するために設計されたいくつかの変種を開発する。 我々の定式化は,リスクニュートラルMDPに対する既存のポリシー評価アルゴリズムが動的UBSR設定に容易に適用可能であることを示している。
• 参考スコア（独自算出の注目度）: 5.271072635937926
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Developing efficient function-approximation methods for policy evaluation is a fundamental challenge in risk-aware reinforcement learning. Existing approaches either focus on restrictive classes of risk measures or rely on access to a simulator, limiting their applicability in fully online settings. In this work, we propose computationally efficient online learning algorithms for policy evaluation in Markov decision processes (MDPs) with dynamic utility-based shortfall risk (UBSR) measures under linear function approximation. Specifically, we introduce the UBSR-TD algorithm, establish conditions under which it converges almost surely, and develop several variants designed to accelerate convergence. Our formulation shows that existing policy evaluation algorithms for risk-neutral MDPs can be readily adapted to dynamic UBSR settings by incorporating a loss function into the temporal-difference error. Numerical experiments support our theoretical findings, and an application to a perishable inventory management problem with shelf-life uncertainty demonstrates the practical effectiveness of the proposed methods.
• Abstract（参考訳）: 政策評価のための効率的な関数近似手法の開発は、リスク対応強化学習における根本的な課題である。 既存のアプローチでは、リスク対策の制限されたクラスにフォーカスするか、シミュレータへのアクセスに依存し、完全なオンライン設定で適用性を制限する。 本研究では,線形関数近似の下での動的ユーティリティ・ベース・ショートフォールリスク(UBSR)尺度を用いたマルコフ決定過程(MDP)におけるポリシー評価のための計算効率の良いオンライン学習アルゴリズムを提案する。 具体的には、UBSR-TDアルゴリズムを導入し、ほぼ確実に収束する条件を確立し、収束を加速するために設計されたいくつかの変種を開発する。 我々の定式化により,リスクニュートラルMDPに対する既存のポリシー評価アルゴリズムは,損失関数を時間差誤差に組み込むことで,動的UBSR設定に容易に適用可能であることが示された。 数値実験により,本手法の有効性を実証し,本手法の有効性を実証した。

関連論文リスト

• Actor-Critic with Active Importance Sampling [61.41272490044518]
  本稿では,Active-Importance-Sampling Actor-Critic (AISAC)アルゴリズムを提案する。 AISACはActor-Criticフレームワークの拡張であり、ポリシー勾配推定のばらつきを低減する。 実験では、標準的なアクター・クライブ法と比較して学習速度、サンプル効率、トレーニングが改善された。
  論文  参考訳（メタデータ） (2026-05-08T01:21:32Z)
• On the System Theoretic Offline Learning of Continuous-Time LQR with Exogenous Disturbances [3.701656361145375]
  線形二次規制 (LQR) 戦略のオフライン設計を不確実な乱れを伴う解析を行う。 我々のアプローチは、適応動的プログラミングの基本的な学習ベースのフレームワークの上に構築されている。
  論文  参考訳（メタデータ） (2025-09-20T17:14:27Z)
• Transfer Learning for Classification under Decision Rule Drift with Application to Optimal Individualized Treatment Rule Estimation [50.34670342434884]
  本研究では,ベイズ決定規則による後方ドリフトのモデル化手法を提案する。 穏やかな規則性条件の下では、推定器の整合性を確立し、リスク境界を導出する。 本稿では,最適な個別化処理ルールの推定に適応させることにより,本手法の幅広い適用性について述べる。
  論文  参考訳（メタデータ） (2025-08-28T16:03:06Z)
• Planning and Learning in Average Risk-aware MDPs [5.271072635937926]
  我々はリスクニュートラルアルゴリズムを拡張し、より一般的なリスク対策のクラスに対応する。 弊社のアプローチは、エージェントの複雑なリスク認識に微調整されたポリシーの特定を可能にする。
  論文  参考訳（メタデータ） (2025-03-22T03:18:09Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Stochastic first-order methods for average-reward Markov decision processes [10.023632561462712]
  平均回帰マルコフ決定過程(AMDP)について検討し,政策最適化と政策評価の両面において理論的確証が強い新しい一階法を開発した。 政策評価と政策最適化の部分を組み合わせることで、生成的およびマルコフ的ノイズモデルの両方の下で、AMDPを解くためのサンプル複雑性結果を確立する。
  論文  参考訳（メタデータ） (2022-05-11T23:02:46Z)
• Online Bootstrap Inference For Policy Evaluation in Reinforcement Learning [90.59143158534849]
  近年の強化学習の出現は、頑健な統計的推論手法の需要を生み出している。 オンライン学習における統計的推論の既存の方法は、独立してサンプリングされた観察を含む設定に限られる。 オンラインブートストラップは線形近似アルゴリズムにおける統計的推測のための柔軟で効率的な手法であるが、マルコフノイズを含む設定における有効性はまだ検討されていない。
  論文  参考訳（メタデータ） (2021-08-08T18:26:35Z)
• An Offline Risk-aware Policy Selection Method for Bayesian Markov Decision Processes [0.0]
  Exploitation vs. Caution (EvC) はベイズ形式主義のモデル不確実性をエレガントに取り入れたパラダイムである。 我々は,多種多様なMDPクラスを提供する異なる離散的かつシンプルな環境において,最先端のアプローチでEvCを検証する。 テストシナリオでは、EvCは堅牢なポリシーを選択することができ、実践者にとって有用なツールとして際立っている。
  論文  参考訳（メタデータ） (2021-05-27T20:12:20Z)
• Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection [7.685002911021767]
  非定常環境におけるポリシーを効率的に学習するアルゴリズムを導入する。 これは、リアルタイム、高信頼な変更点検出統計において、潜在的に無限のデータストリームと計算を解析する。 i) このアルゴリズムは, 予期せぬ状況変化が検出されるまでの遅延を最小限に抑え, 迅速な応答を可能にする。
  論文  参考訳（メタデータ） (2021-05-20T01:57:52Z)
• Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement Learning via Frank-Wolfe Policy Optimization [5.072893872296332]
  アクション制約強化学習(RL)は、さまざまな現実世界のアプリケーションで広く使用されているアプローチです。 本稿では,政策パラメータ更新から行動制約を分離する学習アルゴリズムを提案する。 提案アルゴリズムは,様々な制御タスクにおけるベンチマーク手法を有意に上回っていることを示した。
  論文  参考訳（メタデータ） (2021-02-22T14:28:03Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。