論文の概要: Reward Objectives for Robust (PO)MDPs: A Law-Preserving Equivalence with (Partially Observable) Games

• arxiv url: http://arxiv.org/abs/2610.26568v1
• Date: Mon, 19 Oct 2026 15:23:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:33:21.809522
• Title: Reward Objectives for Robust (PO)MDPs: A Law-Preserving Equivalence with (Partially Observable) Games
• Title（参考訳）: ロバスト(PO)MDPのためのリワード目的:(部分的に観察可能な)ゲームによる法保存等価性
• Abstract要約: 本稿では,ロバスト部分観測可能なマルコフ決定プロセスモデルエージェントの解法について考察する。 本研究では,(1)予測値,(2)平均分散(MV),(3)条件付き値-at-risk(CVaR),(4)エントロピーリスク(ERisk)などの異なるリスク尺度を検討する。 本稿では, 法不変リスク尺度に基づいて, 割引, 長期平均および累積報酬目標を用いて, RPOMDPを解くための統一的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 7.319395616154356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robust partially observable Markov decision processes model agents that act under partial observability while adversarial environment resolves uncertainty in the transition probabilities. Reward objectives such as discounted-sum, long-run average and cumulative reward under finite and infinite horizons allow quantifying the utility of an agent. We consider the problem of solving RPOMDPs under all four reward objectives, where the goal is to decide whether the value of a risk measure with respect to a reward objective exceeds a given threshold. We consider different risk measures, such as (1)~expected value, (2)~mean-variance (MV), (3)~conditional value-at-risk (CVaR), and (4)~entropic risk (ERisk). Our results can be summarized as follows. First, we formalize the class of law-invariant risk measures, that subsume all four risk measures above. Second, we propose a unified framework for solving RPOMDPs with discounted-sum, long-run average and cumulative reward objectives under any law-invariant risk measure, by reducing the problem to solving partially observable stochastic games (POSGs). Our unified framework applies to (s,a)-rectangular RPOMDPs with polytopic uncertainty sets, which we show to be {\em equivalent} to POSGs, for each of the four reward objectives and any law-invariant risk measure. We prove equivalence by designing logspace reductions between the RPOMDP and POSG models, that map strategies to strategies and preserve the distribution of the reward objective, up to a constant rescaling factor. Third, as a corollary, we derive new computational complexity results for R(PO)MDPs and POSGs. In particular, we show that solving (s,a)-rectangular RMDPs is as hard as solving simple stochastic games.
• Abstract（参考訳）: ロバストな部分的に観測可能なマルコフ決定プロセスモデルエージェントは、逆向き環境が遷移確率の不確実性を解決する間、部分観測可能性の下で作用する。 有限の地平線と無限の地平線の下での割引、長期平均、累積報酬などの逆の目的は、エージェントの効用を定量化することができる。 本研究の目的は、報酬目標に対するリスク尺度の価値が与えられた閾値を超えるかどうかを判断することである。 本研究では,(1)予測値,(2)平均分散(MV),(3)条件値-at-risk(CVaR),(4)-エントロピーリスク(ERisk)などの異なるリスク尺度を検討する。 我々の結果は次のように要約できる。 まず、上記の4つのリスク対策を全て補う法不変リスク対策のクラスを定式化する。 第2に、ある法不変リスク尺度の下で、割引、長期平均および累積報酬目標を用いてRPOMDPを解くための統一的な枠組みを提案し、その問題を部分的に観測可能な確率ゲーム(POSG)に還元する。 我々の統一的枠組みは、(s,a)-正方形 RPOMDP にポリトピー的不確実性集合を適用し、これは四つの報奨目的と法不変リスク尺度のそれぞれに対して、POSG と同等であることを示す。 RPOMDP と POSG モデル間の対数空間削減を設計することで等価性を証明し、戦略を戦略にマップし、報酬目標の分布を一定の再スケーリング係数まで保持する。 第3に, R(PO) MDP と POSG の新しい計算複雑性の結果を導出する。 特に,(s,a)-正方形RMDPの解法は,単純な確率ゲームと同等に難しいことを示す。

関連論文リスト

• Risk-averse Total-reward MDPs with ERM and EVaR [12.719528972742394]
  リスク・アバースの総報酬基準は定常政策によって最適化可能であることを示す。 以上の結果から, リスク回避型強化学習領域において, 全報酬基準が割引基準よりも望ましい可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-30T13:33:18Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Provable Offline Preference-Based Reinforcement Learning [95.00042541409901]
  本研究では,PbRL(Preference-based Reinforcement Learning)の問題について,人間のフィードバックを用いて検討する。 我々は、報酬が軌道全体にわたって定義できる一般的な報酬設定について考察する。 我々は, 軌道毎の集中性によって上界に拘束できる新しい単極集中係数を導入する。
  論文  参考訳（メタデータ） (2023-05-24T07:11:26Z)
• Risk-Averse MDPs under Reward Ambiguity [9.929659318167731]
  本稿では,リスクと報酬のあいまいさの下で,マルコフ決定過程(MDP)の分布的に堅牢なリターンリスクモデルを提案する。 スケーラブルな一階述語アルゴリズムは大規模問題の解法として設計されている。
  論文  参考訳（メタデータ） (2023-01-03T11:06:30Z)
• Risk-Sensitive Deep RL: Variance-Constrained Actor-Critic Provably Finds Globally Optimal Policy [95.98698822755227]
  本研究は,リスクに敏感な深層強化学習を,分散リスク基準による平均報酬条件下で研究する試みである。 本稿では,ポリシー,ラグランジュ乗算器,フェンシェル双対変数を反復的かつ効率的に更新するアクタ批判アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-28T05:02:26Z)
• Cautious Reinforcement Learning via Distributional Risk in the Dual Domain [45.17200683056563]
  マルコフ決定過程(MDP)によって定義される強化学習問題において,状態と行動空間が可算有限である場合のリスク感受性ポリシーの推定について検討する。 本稿では,強化学習の線形プログラミング(LP)の2つの目的に付加されるペナルティ関数として,新たなリスク定義を提案する。
  論文  参考訳（メタデータ） (2020-02-27T23:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。