論文の概要: On Policy Evaluation Algorithms in Distributional Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2407.14175v1
• Date: Fri, 19 Jul 2024 10:06:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 18:04:03.539639
• Title: On Policy Evaluation Algorithms in Distributional Reinforcement Learning
• Title（参考訳）: 分散強化学習における政策評価アルゴリズムについて
• Authors: Julian Gerstenberg, Ralph Neininger, Denis Spiegel,
• Abstract要約: 分散強化学習(DRL)による政策評価問題における未知の回帰分布を効率的に近似する新しいアルゴリズムのクラスを導入する。 提案したアルゴリズムの単純な例では、ワッサーシュタインとコルモゴロフ-スミルノフ距離の両方において誤差境界を証明する。 確率密度関数を持つ戻り分布の場合、アルゴリズムはこれらの密度を近似し、誤差境界は上限ノルム内で与えられる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel class of algorithms to efficiently approximate the unknown return distributions in policy evaluation problems from distributional reinforcement learning (DRL). The proposed distributional dynamic programming algorithms are suitable for underlying Markov decision processes (MDPs) having an arbitrary probabilistic reward mechanism, including continuous reward distributions with unbounded support being potentially heavy-tailed. For a plain instance of our proposed class of algorithms we prove error bounds, both within Wasserstein and Kolmogorov--Smirnov distances. Furthermore, for return distributions having probability density functions the algorithms yield approximations for these densities; error bounds are given within supremum norm. We introduce the concept of quantile-spline discretizations to come up with algorithms showing promising results in simulation experiments. While the performance of our algorithms can rigorously be analysed they can be seen as universal black box algorithms applicable to a large class of MDPs. We also derive new properties of probability metrics commonly used in DRL on which our quantitative analysis is based.
• Abstract（参考訳）: 本稿では,分散強化学習(DRL)の政策評価問題において,未知の戻り値分布を効率的に近似するアルゴリズムを新たに導入する。 提案した分散動的プログラミングアルゴリズムは,任意の確率的報奨機構を持つマルコフ決定過程(MDP)に適合する。 提案したアルゴリズムの単純な例では、ワッサーシュタインとコルモゴロフ-スミルノフ距離の両方において誤差境界を証明する。 さらに、確率密度関数を持つ戻り分布に対しては、アルゴリズムはこれらの密度を近似し、誤差境界は上限ノルム内で与えられる。 シミュレーション実験で有望な結果を示すアルゴリズムを考案するために,量子スパインの離散化の概念を導入する。 アルゴリズムの性能は厳密に分析できるが、多種多様なMDPに適用できる普遍的なブラックボックスアルゴリズムと見なすことができる。 また,我々の量的分析に基づくDRLでよく用いられる確率指標の新たな特性を導出する。

関連論文リスト

• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• A unified consensus-based parallel ADMM algorithm for high-dimensional regression with combined regularizations [3.280169909938912]
  並列交互乗算器 (ADMM) は大規模分散データセットの処理に有効であることが広く認識されている。 提案アルゴリズムは,財務事例の信頼性,安定性,スケーラビリティを示す。
  論文  参考訳（メタデータ） (2023-11-21T03:30:38Z)
• Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
  逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である 本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
  論文  参考訳（メタデータ） (2023-07-01T18:35:21Z)
• Multivariate Systemic Risk Measures and Computation by Deep Learning Algorithms [63.03966552670014]
  本稿では,主観的最適度と関連するリスク割り当ての公平性に着目し,重要な理論的側面について論じる。 私たちが提供しているアルゴリズムは、予備項の学習、二重表現の最適化、およびそれに対応する公正なリスク割り当てを可能にします。
  論文  参考訳（メタデータ） (2023-02-02T22:16:49Z)
• Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
  分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。 これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
  論文  参考訳（メタデータ） (2021-07-26T18:11:07Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)
• Study of Diffusion Normalized Least Mean M-estimate Algorithms [0.8749675983608171]
  本研究では,修正ハマー関数に基づく拡散正規化最小平均M推定アルゴリズムを提案する。 我々は,アルゴリズムの過渡的,定常的,安定的な挙動を統一的なフレームワークで解析する。 様々なインパルスノイズシナリオのシミュレーションでは、提案アルゴリズムは既存の拡散アルゴリズムよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2020-04-20T00:28:41Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。