論文の概要: Entropy Regularized Reinforcement Learning Using Large Deviation Theory
- arxiv url: http://arxiv.org/abs/2106.03931v2
- Date: Mon, 10 Apr 2023 20:22:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 19:42:54.812380
- Title: Entropy Regularized Reinforcement Learning Using Large Deviation Theory
- Title（参考訳）: 大偏差理論を用いたエントロピー正規化強化学習
- Authors: Argenis Arriojas, Jacob Adamczyk, Stas Tiomkin and Rahul V. Kulkarni
- Abstract要約: 本稿では,エントロピー規則化RLのマッピングと非平衡統計力学の研究を行う。
大偏差理論からのアプローチを適用し、最適政策と最適力学の正確な解析結果を導出する。
その結果、エントロピー規則化RLの新たな解析および計算フレームワークが実現され、シミュレーションによって検証される。
- 参考スコア（独自算出の注目度）: 3.058685580689605
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Reinforcement learning (RL) is an important field of research in machine
learning that is increasingly being applied to complex optimization problems in
physics. In parallel, concepts from physics have contributed to important
advances in RL with developments such as entropy-regularized RL. While these
developments have led to advances in both fields, obtaining analytical
solutions for optimization in entropy-regularized RL is currently an open
problem. In this paper, we establish a mapping between entropy-regularized RL
and research in non-equilibrium statistical mechanics focusing on Markovian
processes conditioned on rare events. In the long-time limit, we apply
approaches from large deviation theory to derive exact analytical results for
the optimal policy and optimal dynamics in Markov Decision Process (MDP) models
of reinforcement learning. The results obtained lead to a novel analytical and
computational framework for entropy-regularized RL which is validated by
simulations. The mapping established in this work connects current research in
reinforcement learning and non-equilibrium statistical mechanics, thereby
opening new avenues for the application of analytical and computational
approaches from one field to cutting-edge problems in the other.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、物理学における複雑な最適化問題にますます適用されつつある機械学習における重要な研究分野である。
平行して、物理学の概念はエントロピー規則化RLのような発展とともにRLの重要な進歩に寄与している。
これらの発展は両方の分野に進展をもたらしたが、エントロピー規則化 RL の最適化のための解析的解を求めることは、現在オープンな問題である。
本稿では, エントロピー規則化RLのマッピングと, 希少事象を条件としたマルコフ過程に着目した非平衡統計力学の研究を行う。
長時間限では,強化学習のマルコフ決定過程(mdp)モデルにおける最適方針と最適ダイナミクスの厳密な解析結果を得るために,大偏差理論からのアプローチを適用する。
その結果,エントロピー正規化rlの解析および計算の枠組みが提案され,シミュレーションにより検証された。
この研究で確立されたマッピングは、強化学習と非平衡統計力学の現在の研究を結びつけ、解析的および計算的アプローチをある分野から別の分野へ適用するための新たな道を開く。
関連論文リスト
- Minimax Optimal and Computationally Efficient Algorithms for Distributionally Robust Offline Reinforcement Learning [6.969949986864736]
分散ロバストなオフライン強化学習(RL)は、力学の不確実性をモデル化することによって環境摂動に対する堅牢な政策訓練を求める。
関数近似を実現するために,最小限の最適化と計算効率のアルゴリズムを提案する。
その結果、ロバストなオフラインRLの関数近似は、標準のオフラインRLと本質的に異なり、おそらくは難しいことが判明した。
論文 参考訳（メタデータ） (2024-03-14T17:55:10Z) - Provably Efficient Partially Observable Risk-Sensitive Reinforcement
Learning with Hindsight Observation [35.278669159850146]
本稿では,後方観測を部分的に観測可能な決定プロセス(POMDP)フレームワークに統合する新しい定式化を提案する。
本研究では,この設定に適したRLアルゴリズムを初めて提案する。
これらの手法は、強化学習の理論的研究に特に関心がある。
論文 参考訳（メタデータ） (2024-02-28T08:24:06Z) - Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳（メタデータ） (2023-12-30T17:05:31Z) - Leveraging Hamilton-Jacobi PDEs with time-dependent Hamiltonians for continual scientific machine learning [1.8175282137722093]
科学機械学習(SciML)における2つの大きな課題に対処する。
我々は、SciMLから生じる最適化問題と一般化ホップ公式との新たな理論的関係を確立する。
既存のHJ PDEソルバと最適制御アルゴリズムを再利用して、新しい効率的なトレーニングアプローチを設計することができる。
論文 参考訳（メタデータ） (2023-11-13T22:55:56Z) - Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and
Research Opportunities [63.258517066104446]
進化的アルゴリズムの構成要素として統合された強化学習は,近年,優れた性能を示している。
本稿では,RL-EA 統合手法,RL-EA が採用する RL-EA 支援戦略,および既存文献による適用について論じる。
RL-EAセクションの適用例では、RL-EAのいくつかのベンチマークおよび様々な公開データセットにおける優れた性能を示す。
論文 参考訳（メタデータ） (2023-08-25T15:06:05Z) - Variance Control for Distributional Reinforcement Learning [22.407803118899512]
我々は,新しい推定器であるemphQuantiled Expansion Mean(QEM)を構築し,統計的観点から新しいDRLアルゴリズム(QEMRL)を導入する。
我々は,Atari と Mujoco のベンチマークタスクに対して,QEMRL アルゴリズムを広範囲に評価した。
論文 参考訳（メタデータ） (2023-07-30T07:25:18Z) - Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。
本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:00:09Z) - Assessment of Reinforcement Learning Algorithms for Nuclear Power Plant
Fuel Optimization [0.0]
この研究は、深いRLを用いてロードパターンの問題を解決するための第一種アプローチを示し、任意のエンジニアリング設計最適化に利用することができる。
論文 参考訳（メタデータ） (2023-05-09T23:51:24Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳（メタデータ） (2022-10-15T17:57:43Z) - Reinforcement Learning for Adaptive Mesh Refinement [63.7867809197671]
マルコフ決定過程としてのAMRの新規な定式化を提案し,シミュレーションから直接改良政策を訓練するために深部強化学習を適用した。
これらのポリシーアーキテクチャのモデルサイズはメッシュサイズに依存しないため、任意に大きく複雑なシミュレーションにスケールします。
論文 参考訳（メタデータ） (2021-03-01T22:55:48Z) - Dynamics Generalization via Information Bottleneck in Deep Reinforcement
Learning [90.93035276307239]
本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。
迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。
この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
論文 参考訳（メタデータ） (2020-08-03T02:24:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。