論文の概要: Tractable Representations for Convergent Approximation of Distributional HJB Equations

• arxiv url: http://arxiv.org/abs/2503.05563v1
• Date: Fri, 07 Mar 2025 16:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:23:23.918523
• Title: Tractable Representations for Convergent Approximation of Distributional HJB Equations
• Title（参考訳）: 分布HJB方程式の収束近似のためのトラクタブル表現
• Authors: Julie Alhosh, Harley Wiltzer, David Meger,
• Abstract要約: 強化学習(RL)では, 意思決定方針の長期的行動は, 平均回帰に基づいて評価される。 最近の研究は分布RL方程式を確立し、戻り分布を初めて特徴づけている。 分布RLアルゴリズムによって学習された統計量と対応する分布とのマッピングのトポロジカルな性質により、これらの統計量の近似はDHJB方程式の解の近似を近似することを示した。
• 参考スコア（独自算出の注目度）: 14.04742317470728
• License:
• Abstract: In reinforcement learning (RL), the long-term behavior of decision-making policies is evaluated based on their average returns. Distributional RL has emerged, presenting techniques for learning return distributions, which provide additional statistics for evaluating policies, incorporating risk-sensitive considerations. When the passage of time cannot naturally be divided into discrete time increments, researchers have studied the continuous-time RL (CTRL) problem, where agent states and decisions evolve continuously. In this setting, the Hamilton-Jacobi-Bellman (HJB) equation is well established as the characterization of the expected return, and many solution methods exist. However, the study of distributional RL in the continuous-time setting is in its infancy. Recent work has established a distributional HJB (DHJB) equation, providing the first characterization of return distributions in CTRL. These equations and their solutions are intractable to solve and represent exactly, requiring novel approximation techniques. This work takes strides towards this end, establishing conditions on the method of parameterizing return distributions under which the DHJB equation can be approximately solved. Particularly, we show that under a certain topological property of the mapping between statistics learned by a distributional RL algorithm and corresponding distributions, approximation of these statistics leads to close approximations of the solution of the DHJB equation. Concretely, we demonstrate that the quantile representation common in distributional RL satisfies this topological property, certifying an efficient approximation algorithm for continuous-time distributional RL.
• Abstract（参考訳）: 強化学習(RL)では, 意思決定方針の長期的行動は, 平均回帰に基づいて評価される。 リスクに敏感な考察を取り入れた、政策評価のためのさらなる統計を提供する、リターン分布の学習手法を提示する分布RLが出現している。 時間経過が自然に離散的な時間増加に分割できない場合、研究者はエージェントの状態と決定が継続的に進行する連続時間RL(Continuous-time RL)問題を研究した。 この設定では、ハミルトン・ヤコビ・ベルマン方程式(英語版)(HJB)は期待されるリターンのキャラクタリゼーションとして十分に確立されており、多くの解法が存在する。 しかし、連続時間設定における分布RLの研究はその初期段階にある。 最近の研究は分布HJB(DHJB)方程式を確立し、CTRLにおける戻り分布を初めて特徴づけている。 これらの方程式とその解は、解決し、正確に表現し、新しい近似技術を必要とする。 この研究は、DHJB方程式を近似的に解くことができる帰還分布をパラメータ化する方法の条件を確立するために、この目的に向けて努力する。 特に、分布RLアルゴリズムによって学習された統計量と対応する分布とのマッピングのある種のトポロジカルな性質の下で、これらの統計量の近似がDHJB方程式の解の近似に近づいたことを示す。 具体的には、分布RLに共通する量子表現がこのトポロジカルな性質を満たすことを示し、連続時間分布RLの効率的な近似アルゴリズムを証明した。

関連論文リスト

• Discrete Probabilistic Inference as Control in Multi-path Environments [84.67055173040107]
  本稿では,離散分布と構造化分布からサンプリングする問題を逐次決定問題として考察する。 我々は,GFlowNetが,フローの保存を強制することによって,報酬に比例してオブジェクトをサンプリングするポリシーを学習していることを示す。 また、GFlowNetの文献で見られるフローマッチングの目的が、精度の高いMaxEnt RLアルゴリズムと等価であることも証明した。
  論文  参考訳（メタデータ） (2024-02-15T20:20:35Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• One-Step Distributional Reinforcement Learning [10.64435582017292]
  簡単な一段階分散強化学習(OS-DistrRL)フレームワークを提案する。 当社のアプローチには,政策評価と統制の両面での統一理論があることが示されている。 ほぼ確実に収束解析を行う2つのOS-DistrRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:57:00Z)
• Policy Evaluation in Distributional LQR [70.63903506291383]
  ランダムリターンの分布を閉形式で表現する。 この分布は有限個の確率変数で近似できることを示す。 近似回帰分布を用いて,リスク・アバースLQRに対するゼロ階ポリシー勾配アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T20:27:40Z)
• Distributional Hamilton-Jacobi-Bellman Equations for Continuous-Time Reinforcement Learning [39.07307690074323]
  本研究では,連続した環境下で対話するエージェントによって得られるリターンの分布を予測することの問題点を考察する。 正確なリターン予測は、リスクに敏感な制御、状態表現、マルチエージェント調整などのための最適なポリシーを決定するのに有用であることが証明されている。 本稿では、オンライン制御アルゴリズムで実装可能なJKOスキームに基づいて、分布HJBを近似的に解くことのできるトラクタブルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:33:54Z)
• Distributional Reinforcement Learning for Multi-Dimensional Reward Functions [91.88969237680669]
  多次元分布DQN(MD3QN)を導入し、複数の報酬源からの共振分布をモデル化する。 関節分布モデリングの副産物として、MD3QNは各報酬源に対するリターンのランダム性を捉えることができる。 実験では,リッチな相関型報酬関数を持つ環境下での連立戻り分布を精度良くモデル化した。
  論文  参考訳（メタデータ） (2021-10-26T11:24:23Z)
• Distributional Reinforcement Learning with Unconstrained Monotonic Neural Networks [7.907645828535088]
  本稿では,ランダムリターン分布の異なる表現を学習するための方法論を提案する。 制約のない単調深Q-network (UMDQN) と呼ばれる新しい分布RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-06T20:03:50Z)
• Bayesian Distributional Policy Gradients [2.28438857884398]
  分布強化学習は、報酬対移動の確率分布全体を維持する。 返品だ Bayesian Distributional Policy Gradients (BDPG) は、共同コントラスト学習における逆行訓練を用いて、リターンから変動後部を推定する。
  論文  参考訳（メタデータ） (2021-03-20T23:42:50Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。