論文の概要: A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms

• arxiv url: http://arxiv.org/abs/2003.12239v1
• Date: Fri, 27 Mar 2020 05:13:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 04:18:10.135746
• Title: A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms
• Title（参考訳）: サンプリングに基づく強化学習アルゴリズムの分布解析
• Authors: Philip Amortila, Doina Precup, Prakash Panangaden, Marc G. Bellemare
• Abstract要約: 定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
• 参考スコア（独自算出の注目度）: 67.67377846416106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a distributional approach to theoretical analyses of reinforcement learning algorithms for constant step-sizes. We demonstrate its effectiveness by presenting simple and unified proofs of convergence for a variety of commonly-used methods. We show that value-based methods such as TD($\lambda$) and $Q$-Learning have update rules which are contractive in the space of distributions of functions, thus establishing their exponentially fast convergence to a stationary distribution. We demonstrate that the stationary distribution obtained by any algorithm whose target is an expected Bellman update has a mean which is equal to the true value function. Furthermore, we establish that the distributions concentrate around their mean as the step-size shrinks. We further analyse the optimistic policy iteration algorithm, for which the contraction property does not hold, and formulate a probabilistic policy improvement property which entails the convergence of the algorithm.
• Abstract（参考訳）: 定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 様々な一般的な手法に対して,収束の単純かつ統一的な証明を提示することにより,その効果を実証する。 td($\lambda$) や $q$-learning のような値ベースの手法は、関数の分布の空間において契約的な更新規則を持つため、指数関数的に高速に定常分布に収束する。 ベルマン更新が期待されるアルゴリズムによって得られた定常分布は、真の値関数と等しい平均を持つことを示す。 さらに, ステップサイズが縮小するにつれて, 分布が平均値を中心に集中することを示す。 さらに,制約特性が保持されない楽観的なポリシー反復アルゴリズムを解析し,アルゴリズムの収束を伴う確率的ポリシー改善特性を定式化する。

関連論文リスト

• On Policy Evaluation Algorithms in Distributional Reinforcement Learning [0.0]
  分散強化学習(DRL)による政策評価問題における未知の回帰分布を効率的に近似する新しいアルゴリズムのクラスを導入する。 提案したアルゴリズムの単純な例では、ワッサーシュタインとコルモゴロフ-スミルノフ距離の両方において誤差境界を証明する。 確率密度関数を持つ戻り分布の場合、アルゴリズムはこれらの密度を近似し、誤差境界は上限ノルム内で与えられる。
  論文  参考訳（メタデータ） (2024-07-19T10:06:01Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Distributional Hamilton-Jacobi-Bellman Equations for Continuous-Time Reinforcement Learning [39.07307690074323]
  本研究では,連続した環境下で対話するエージェントによって得られるリターンの分布を予測することの問題点を考察する。 正確なリターン予測は、リスクに敏感な制御、状態表現、マルチエージェント調整などのための最適なポリシーを決定するのに有用であることが証明されている。 本稿では、オンライン制御アルゴリズムで実装可能なJKOスキームに基づいて、分布HJBを近似的に解くことのできるトラクタブルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:33:54Z)
• Conjugated Discrete Distributions for Distributional Reinforcement Learning [0.0]
  最も成功した方法の1つは、非決定論的プロセスがある場合、最適なポリシーを得られないことを示します。 我々は、分散強化学習が、この状況を完全に改善するのに役立つと論じている。
  論文  参考訳（メタデータ） (2021-12-14T14:14:49Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)
• Study of Diffusion Normalized Least Mean M-estimate Algorithms [0.8749675983608171]
  本研究では,修正ハマー関数に基づく拡散正規化最小平均M推定アルゴリズムを提案する。 我々は,アルゴリズムの過渡的,定常的,安定的な挙動を統一的なフレームワークで解析する。 様々なインパルスノイズシナリオのシミュレーションでは、提案アルゴリズムは既存の拡散アルゴリズムよりも優れていることが示されている。
  論文  参考訳（メタデータ） (2020-04-20T00:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。