論文の概要: GPU-Accelerated Policy Optimization via Batch Automatic Differentiation
of Gaussian Processes for Real-World Control
- arxiv url: http://arxiv.org/abs/2202.13638v1
- Date: Mon, 28 Feb 2022 09:31:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 18:23:06.017487
- Title: GPU-Accelerated Policy Optimization via Batch Automatic Differentiation
of Gaussian Processes for Real-World Control
- Title(参考訳): 実世界制御のためのガウス過程のバッチ自動微分によるGPU高速化政策最適化
- Authors: Abdolreza Taheri, Joni Pajarinen, Reza Ghabcheloo
- Abstract要約: 我々は, 高速な予測サンプリング手法を利用して, 前方通過毎に軌道のバッチ処理を行うことにより, 政策最適化手法を開発した。
重機を用いた基準追従制御実験の訓練方針における本手法の有効性を実証する。
- 参考スコア(独自算出の注目度): 8.720903734757627
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The ability of Gaussian processes (GPs) to predict the behavior of dynamical
systems as a more sample-efficient alternative to parametric models seems
promising for real-world robotics research. However, the computational
complexity of GPs has made policy search a highly time and memory consuming
process that has not been able to scale to larger problems. In this work, we
develop a policy optimization method by leveraging fast predictive sampling
methods to process batches of trajectories in every forward pass, and compute
gradient updates over policy parameters by automatic differentiation of Monte
Carlo evaluations, all on GPU. We demonstrate the effectiveness of our approach
in training policies on a set of reference-tracking control experiments with a
heavy-duty machine. Benchmark results show a significant speedup over exact
methods and showcase the scalability of our method to larger policy networks,
longer horizons, and up to thousands of trajectories with a sublinear drop in
speed.
- Abstract(参考訳): パラメトリックモデルのよりサンプル効率の良い代替手段としての力学系の挙動を予測できるガウス過程(GP)の能力は、現実のロボティクス研究に期待できる。
しかし、gpsの計算の複雑さにより、ポリシー検索は、より大きな問題にスケールできない非常に時間とメモリ消費のプロセスとなった。
本研究では,フォワードパス毎に経路のバッチ処理を行う高速予測サンプリング手法を活用し,モンテカルロ評価の自動微分によるポリシーパラメータの勾配更新をgpu上で計算することにより,ポリシー最適化手法を開発した。
本研究では,重機を用いた参照追跡制御実験における訓練方針の有効性を実証する。
ベンチマークの結果、正確な手法よりも大幅に高速化され、より大規模なポリシーネットワーク、より長い地平線、そしてサブ線形の速度低下を伴う数千の軌道に対する我々の手法のスケーラビリティが示される。
関連論文リスト
- Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。
本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。
本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
論文 参考訳(メタデータ) (2023-07-20T09:05:46Z) - Acceleration in Policy Optimization [50.323182853069184]
我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。
我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。
我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
論文 参考訳(メタデータ) (2023-06-18T15:50:57Z) - Inferring Smooth Control: Monte Carlo Posterior Policy Iteration with
Gaussian Processes [39.411957858548355]
オンラインシーケンシャル推論を用いて,よりスムーズなモデル予測因子制御を実現する方法を示す。
提案手法は,いくつかのロボット制御タスクにおいて,従来の手法と一致し,スムーズさを確保しつつ評価する。
論文 参考訳(メタデータ) (2022-10-07T12:56:31Z) - Dimensionality Reduction and Prioritized Exploration for Policy Search [29.310742141970394]
Black-boxポリシー最適化は、パラメータレベルでポリシーを探索し更新する強化学習アルゴリズムのクラスである。
本稿では,有効パラメータの探索を優先し,完全共分散行列更新に対処する新しい手法を提案する。
我々のアルゴリズムは最近の手法よりも速く学習し、最先端の結果を得るためにはサンプルを少なくする。
論文 参考訳(メタデータ) (2022-03-09T15:17:09Z) - Learning Robust Controllers Via Probabilistic Model-Based Policy Search [2.886634516775814]
このような方法で学習したコントローラが、環境の小さな摂動の下で頑健であり、一般化できるかどうかを考察する。
ガウス過程のダイナミックスモデルにおける確率雑音に対する低拘束がポリシー更新を規則化し、より堅牢なコントローラが得られることを示す。
論文 参考訳(メタデータ) (2021-10-26T11:17:31Z) - Bregman Gradient Policy Optimization [97.73041344738117]
本稿では,Bregmanの発散と運動量に基づく強化学習のためのBregmanグラデーションポリシーの最適化を設計する。
VR-BGPOは、各イテレーションで1つの軌道のみを必要とする$epsilon$stationaryポイントを見つけるために、$tilde(epsilon-3)$で最高の複雑性に達する。
論文 参考訳(メタデータ) (2021-06-23T01:08:54Z) - ParticleAugment: Sampling-Based Data Augmentation [80.44268663372233]
モデルトレーニング中に最適な拡張ポリシーとスケジュールを求めるために,粒子フィルタリングの定式化を提案する。
CIFAR-10, CIFAR-100, ImageNetデータセットにおいて, 自動拡張のための定式化が有望な結果に達することを示す。
論文 参考訳(メタデータ) (2021-06-16T10:56:02Z) - Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。
その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
論文 参考訳(メタデータ) (2021-04-09T14:50:59Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳(メタデータ) (2020-05-21T20:59:11Z) - Gaussian Process Policy Optimization [0.0]
本稿では,アクターに批判的かつモデルなしの強化学習アルゴリズムを提案する。
ベイズ的パラメータ空間探索法を用いて環境を解く。
ロボットの移動をシミュレートする環境において、現在のアルゴリズムよりも経験的に優れていることが示されています。
論文 参考訳(メタデータ) (2020-03-02T18:06:27Z) - Online Parameter Estimation for Safety-Critical Systems with Gaussian
Processes [6.122161391301866]
オンラインパラメータ推定のためのガウス過程(GP)に基づくベイズ最適化フレームワークを提案する。
パラメータ空間の応答面上の効率的な探索戦略を用いて、最小限の機能評価で大域最適解を求める。
我々は,パラメータの変化を考慮したシミュレーションにおいて,アクティベートされた平面振子と安全臨界振子について実演する。
論文 参考訳(メタデータ) (2020-02-18T20:38:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。