Fugu-MT 論文翻訳(概要): On the Convergence of Reinforcement Learning in Nonlinear Continuous State Space Problems

論文の概要: On the Convergence of Reinforcement Learning in Nonlinear Continuous State Space Problems

arxiv url: http://arxiv.org/abs/2011.10829v2
Date: Wed, 28 Jul 2021 21:30:33 GMT
ステータス: 処理完了
システム内更新日: 2022-09-22 23:40:54.736958
Title: On the Convergence of Reinforcement Learning in Nonlinear Continuous State Space Problems
Title（参考訳）: 非線形連続状態空間問題における強化学習の収束について
Authors: Raman Goyal and Suman Chakravorty and Ran Wang and Mohamed Naveed Gul Mohamed
Abstract要約: 解の分散は近似の順に指数関数的に増大することを示す。これにより、RL内の"ローカル"フィードバックソリューション以外のものは検索できない。
参考スコア（独自算出の注目度）: 7.853311776883983
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We consider the problem of Reinforcement Learning for nonlinear stochastic dynamical systems. We show that in the RL setting, there is an inherent ``Curse of Variance" in addition to Bellman's infamous ``Curse of Dimensionality", in particular, we show that the variance in the solution grows factorial-exponentially in the order of the approximation. A fundamental consequence is that this precludes the search for anything other than ``local" feedback solutions in RL, in order to control the explosive variance growth, and thus, ensure accuracy. We further show that the deterministic optimal control has a perturbation structure, in that the higher order terms do not affect the calculation of lower order terms, which can be utilized in RL to get accurate local solutions.
Abstract（参考訳）: 非線形確率力学系における強化学習の問題を考える。 RL設定ではベルマンの悪名高い「次元のカルス」に加えて、「変数のカルス」という固有の「変数のカルス」が存在することを示し、特に、解の分散が近似の順序で分解的に増大することを示す。根本的な結果は、爆発的な分散成長を制御し、したがって精度を確保するために、RLの「ローカル」フィードバック解以外のものを探索することを妨げることである。さらに、決定論的最適制御は摂動構造を持ち、高次項はRLで正確な局所解を得るために利用できる低次項の計算に影響を与えないことを示す。

関連論文リスト

Neural Network Approximation for Pessimistic Offline Reinforcement Learning [17.756108291816908]
一般ニューラルネットワーク近似を用いた悲観的オフラインRLの非漸近的推定誤差を提案する。その結果, 推定誤差は2つの部分から構成されることがわかった。第1は, 部分的に制御可能な集束率でサンプルサイズに所望の速度で0に収束し, 第2は残留制約が厳密であれば無視可能である。
論文参考訳（メタデータ） (2023-12-19T05:17:27Z)
Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文参考訳（メタデータ） (2023-12-07T15:55:58Z)
Model-Based Uncertainty in Value Functions [89.31922008981735]
MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
論文参考訳（メタデータ） (2023-02-24T09:18:27Z)
Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
論文参考訳（メタデータ） (2022-11-14T21:54:31Z)
Distributionally Robust Offline Reinforcement Learning with Linear Function Approximation [16.128778192359327]
我々は、ソース環境から得られた履歴データを用いてRLエージェントを学習し、摂動環境において良好に動作するように最適化する。我々は、線形関数次元$d$に応じて、我々のアルゴリズムが$O(sqrtK)$の亜最適性を達成できることを証明した。
論文参考訳（メタデータ） (2022-09-14T13:17:59Z)
False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文参考訳（メタデータ） (2021-10-24T15:34:03Z)
On the Role of Entropy-based Loss for Learning Causal Structures with Continuous Optimization [27.613220411996025]
因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化する。ガウス雑音の仮定に違反すると因果方向の同定が妨げられることを示す。より一般的なエントロピーに基づく損失は、任意の雑音分布下での確率スコアと理論的に一致している。
論文参考訳（メタデータ） (2021-06-05T08:29:51Z)
Error Bounds of the Invariant Statistics in Machine Learning of Ergodic It\^o Diffusions [8.627408356707525]
エルゴード的伊藤拡散の機械学習の理論的基盤について検討する。ドリフト係数と拡散係数の学習における誤差に対する1点および2点不変統計量の誤差の線形依存性を導出する。
論文参考訳（メタデータ） (2021-05-21T02:55:59Z)
Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは経験的に過剰フィットを防げる中心的存在ですこの研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文参考訳（メタデータ） (2021-03-23T17:15:53Z)
Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
論文参考訳（メタデータ） (2020-12-09T20:19:32Z)
On the Stability Properties and the Optimization Landscape of Training Problems with Squared Loss for Neural Networks and General Nonlinear Conic Approximation Schemes [0.0]
ニューラルネットワークと一般的な非線形円錐近似スキームの2乗損失を伴うトレーニング問題の最適化景観と安定性特性について検討する。これらの不安定性に寄与する同じ効果が、サドル点や急激な局所ミニマの出現の原因でもあることを証明している。
論文参考訳（メタデータ） (2020-11-06T11:34:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。