論文の概要: Reinforcement Learning under State and Outcome Uncertainty: A Foundational Distributional Perspective

• arxiv url: http://arxiv.org/abs/2609.24103v1
• Date: Mon, 21 Sep 2026 04:44:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.070248
• Title: Reinforcement Learning under State and Outcome Uncertainty: A Foundational Distributional Perspective
• Title（参考訳）: 国家における強化学習とアウトカム不確実性:基礎的分布的視点
• Abstract要約: 我々は分散強化学習(DistRL)を部分的に観測可能なマルコフ決定プロセス(POMDP)に拡張する。 我々は、部分可観測性のための新しい分布型ベルマン作用素を導入し、それらの収束を p-ワッサーシュタイン計量の上限の下で証明する。 本研究では,DPBVI(Distributedal Point-Based Value Iteration)を開発し,Phi-vectorsを標準のポイントベースバックアッププロシージャブリジンDistRLとPMDPプランニングに統合する。
• 参考スコア（独自算出の注目度）: 3.9307751004219385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many real-world planning tasks, agents must tackle uncertainty about the environment's state and variability in the outcomes of any chosen policy. We address both forms of uncertainty as a first step toward safer algorithms in partially observable settings. Specifically, we extend Distributional Reinforcement Learning (DistRL)-which models the entire return distribution for fully observable domains-to Partially Observable Markov Decision Processes (POMDPs), allowing an agent to learn the distribution of returns for each conditional plan. Concretely, we introduce new distributional Bellman operators for partial observability and prove their convergence under the supremum p-Wasserstein metric. We also propose a finite representation of these return distributions via psi-vectors, generalizing the classical alpha-vectors in POMDP solvers. Building on this, we develop Distributional Point-Based Value Iteration (DPBVI), which integrates psi-vectors into a standard point-based backup procedure-bridging DistRL and POMDP planning. By tracking return distributions, DPBVI lays the foundation for future risk-sensitive control in domains where rare, high-impact events must be carefully managed. We provide source code to foster further research in robust decision-making under partial observability.
• Abstract（参考訳）: 多くの現実世界の計画タスクでは、エージェントは選択された政策の結果における環境の状態と変動性の不確実性に取り組む必要がある。 両形態の不確実性は、部分的に観測可能な設定において、より安全なアルゴリズムに向けた第一歩である。 具体的には,完全観測可能な領域に対して全戻り分布をモデル化する分散強化学習(DistRL)を拡張した。 具体的には、部分可観測性のための新しい分布型ベルマン作用素を導入し、その収束性をp-ワッサーシュタイン計量の下で証明する。 また, PMDP ソルバの古典的αベクトルを一般化した psi-vector による戻り分布の有限表現も提案する。 そこで我々は,DPBVI(Distributal Point-Based Value Iteration)を開発し,Phi-vectorsを標準のポイントベースバックアッププロシージャブリジンDistRLとPOMDPプランニングに統合する。 DPBVIは、リターン分布を追跡することによって、稀で高影響のイベントを慎重に管理する必要がある領域において、将来のリスクに敏感な制御の基礎を定めている。 我々は、部分的な可観測性の下でのロバストな意思決定のさらなる研究を促進するためにソースコードを提供する。

関連論文リスト

• Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
  PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。 より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。 DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
  論文  参考訳（メタデータ） (2026-02-04T18:59:04Z)
• Reinforcement Learning under State and Outcome Uncertainty: A Foundational Distributional Perspective [4.794801758504495]
  我々は分散強化学習(DistRL)を部分的に観測可能なマルコフ決定プロセス(POMDP)に拡張する。 我々は、部分可観測性のための新しい分布型ベルマン作用素を導入し、それらの収束を p-ワッサーシュタイン計量の上限の下で証明する。 本研究では,DPBVI(Distributedal Point-Based Value Iteration)を開発し,Phi-vectorsを標準のポイントベースバックアッププロシージャブリジンDistRLとPMDPプランニングに統合する。
  論文  参考訳（メタデータ） (2025-05-10T05:19:32Z)
• Efficient Safety Alignment of Large Language Models via Preference Re-ranking and Representation-based Reward Modeling [84.00480999255628]
  大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。 現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。 モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T06:40:34Z)
• Policy Evaluation in Distributional LQR [70.63903506291383]
  ランダムリターンの分布を閉形式で表現する。 この分布は有限個の確率変数で近似できることを示す。 近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T20:27:40Z)
• Robustness and risk management via distributional dynamic programming [13.173307471333619]
  我々は,政策評価のための実用的なDPアルゴリズムとともに,分散演算子の新しいクラスを導入する。 我々の手法は、各状態が最悪の部分状態と最良の部分状態に分割される拡張状態空間を通して再構成される。 我々は、分散演算子とDPアルゴリズムを導出し、新しい制御課題を解決する。
  論文  参考訳（メタデータ） (2021-12-28T12:12:57Z)
• Bayesian Distributional Policy Gradients [2.28438857884398]
  分布強化学習は、報酬対移動の確率分布全体を維持する。 返品だ Bayesian Distributional Policy Gradients (BDPG) は、共同コントラスト学習における逆行訓練を用いて、リターンから変動後部を推定する。
  論文  参考訳（メタデータ） (2021-03-20T23:42:50Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。