論文の概要: Randomized Policy Learning for Continuous State and Action MDPs
- arxiv url: http://arxiv.org/abs/2006.04331v2
- Date: Mon, 16 Nov 2020 01:55:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 23:55:47.991518
- Title: Randomized Policy Learning for Continuous State and Action MDPs
- Title（参考訳）: 連続状態と行動MDPのためのランダム化政策学習
- Authors: Hiteshi Sharma and Rahul Jain
- Abstract要約: 我々は、連続状態と行動空間を持つMDPに対する一般的なポリシー反復アルゴリズムであるtextttRANDPOLを提案する。
課題のある環境で数値性能を示し、それらをディープニューラルネットワークベースのアルゴリズムと比較する。
- 参考スコア（独自算出の注目度）: 8.109579454896128
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning methods have achieved state-of-the-art results in
a variety of challenging, high-dimensional domains ranging from video games to
locomotion. The key to success has been the use of deep neural networks used to
approximate the policy and value function. Yet, substantial tuning of weights
is required for good results. We instead use randomized function approximation.
Such networks are not only cheaper than training fully connected networks but
also improve the numerical performance. We present \texttt{RANDPOL}, a
generalized policy iteration algorithm for MDPs with continuous state and
action spaces. Both the policy and value functions are represented with
randomized networks. We also give finite time guarantees on the performance of
the algorithm. Then we show the numerical performance on challenging
environments and compare them with deep neural network based algorithms.
- Abstract（参考訳）: 深層強化学習法は、ビデオゲームから移動まで、様々な挑戦的な高次元領域において最先端の結果を得た。
成功の鍵は、ポリシーと価値関数を近似するために使用されるディープニューラルネットワークの使用である。
しかし、適切な結果を得るためには重みの調整が必要となる。
代わりにランダム化関数近似を用いる。
このようなネットワークは、完全接続ネットワークのトレーニングよりも安価であるだけでなく、数値性能も向上している。
本稿では,連続状態と動作空間を持つmdpのための一般化ポリシー反復アルゴリズムである \texttt{randpol} を提案する。
ポリシーと値関数はどちらもランダムネットワークで表現される。
また,アルゴリズムの性能を有限時間に保証する。
次に,課題環境における数値的性能を示し,ディープニューラルネットワークに基づくアルゴリズムと比較する。
関連論文リスト
- Learning-Based Verification of Stochastic Dynamical Systems with Neural Network Policies [7.9898826915621965]
我々は、他のニューラルネットワークをトレーニングする検証手順を使用し、ポリシーがタスクを満足することを示す証明書として機能する。
リーチ回避タスクでは、この証明ネットワークがリーチ回避スーパーマーチンゲール(RASM)であることを示すのに十分である。
論文 参考訳（メタデータ） (2024-06-02T18:19:19Z) - Thompson sampling for improved exploration in GFlowNets [75.89693358516944]
生成フローネットワーク(Generative Flow Networks, GFlowNets)は、合成対象物上の分布からのサンプリングを、学習可能なアクションポリシーを用いたシーケンシャルな意思決定問題として扱う、アモータイズされた変分推論アルゴリズムである。
2つの領域において、TS-GFNは、過去の研究で使われたオフ・ポリティクス・サーベイ・ストラテジーよりも、探索を改善し、目標分布への収束を早くすることを示す。
論文 参考訳（メタデータ） (2023-06-30T14:19:44Z) - Regularization of polynomial networks for image recognition [78.4786845859205]
PN(Polynomial Networks)は、将来性があり、解釈可能性も向上した代替手法として登場した。
6つのベンチマークでResNetのパフォーマンスに到達できるPNのクラスを紹介します。
論文 参考訳（メタデータ） (2023-03-24T10:05:22Z) - Efficiently Learning Small Policies for Locomotion and Manipulation [12.340412143459869]
グラフハイパーネットワークを活用して、非政治強化学習で訓練されたグラフハイパーポリシーを学習する。
本手法は,任意の非政治強化学習アルゴリズムに付加可能であることを示す。
パラメータ数に対する制約を考慮し,最適なアーキテクチャを選択する方法を提案する。
論文 参考訳（メタデータ） (2022-09-30T23:49:00Z) - Learning Optimal Antenna Tilt Control Policies: A Contextual Linear
Bandit Approach [65.27783264330711]
セルラーネットワークにおけるアンテナ傾きの制御は、ネットワークのカバレッジとキャパシティの間の効率的なトレードオフに到達するために不可欠である。
既存のデータから最適な傾き制御ポリシーを学習するアルゴリズムを考案する。
従来のルールベースの学習アルゴリズムよりもはるかに少ないデータサンプルを用いて最適な傾き更新ポリシーを作成できることを示す。
論文 参考訳（メタデータ） (2022-01-06T18:24:30Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Continuous-Time Fitted Value Iteration for Robust Policies [93.25997466553929]
ハミルトン・ヤコビ・ベルマン方程式の解法は、制御、ロボティクス、経済学を含む多くの領域において重要である。
連続適合値反復(cFVI)とロバスト適合値反復(rFVI)を提案する。
これらのアルゴリズムは、多くの連続制御問題の非線形制御-アフィンダイナミクスと分離可能な状態とアクション報酬を利用する。
論文 参考訳（メタデータ） (2021-10-05T11:33:37Z) - Direct Random Search for Fine Tuning of Deep Reinforcement Learning
Policies [5.543220407902113]
直接ランダム検索は、決定論的ロールアウトを用いて直接最適化することにより、DRLポリシーを微調整するのに非常に効果的であることを示す。
その結果, 本手法は, テストした環境において, より一貫性があり, 高性能なエージェントが得られることがわかった。
論文 参考訳（メタデータ） (2021-09-12T20:12:46Z) - Robust Value Iteration for Continuous Control Tasks [99.00362538261972]
シミュレーションから物理システムへ制御ポリシを転送する場合、そのポリシは、動作の変動に対して堅牢でなければならない。
本稿では、動的プログラミングを用いて、コンパクトな状態領域上での最適値関数を計算するRobust Fitted Value Iterationを提案する。
より深い強化学習アルゴリズムや非ロバストなアルゴリズムと比較して、ロバストな値の方が頑健であることを示す。
論文 参考訳（メタデータ） (2021-05-25T19:48:35Z) - GRAC: Self-Guided and Self-Regularized Actor-Critic [24.268453994605512]
本稿では,ターゲットネットワークを必要とせず,分散に対処する自己正規化TD学習手法を提案する。
また,政策段階とゼロオーダー最適化を組み合わせた自己誘導型政策改善手法を提案する。
これにより、Q関数近似におけるローカルノイズに対する学習をより堅牢にし、アクターネットワークのアップデートをガイドします。
テスト対象のすべての環境において, OpenAI ジムタスクのスイート上で GRAC を評価する。
論文 参考訳（メタデータ） (2020-09-18T17:58:29Z) - Queueing Network Controls via Deep Reinforcement Learning [0.0]
待ち行列ネットワークのためのポリシ最適化アルゴリズムを開発した。
このアルゴリズムは、文学における最先端よりも優れた制御ポリシーを一貫して生成する。
PPOアルゴリズムの成功の鍵は、相対値関数を推定するために3つの分散還元技術を使用することである。
論文 参考訳（メタデータ） (2020-07-31T01:02:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。