論文の概要: Learning Robust Policy against Disturbance in Transition Dynamics via State-Conservative Policy Optimization

• arxiv url: http://arxiv.org/abs/2112.10513v1
• Date: Mon, 20 Dec 2021 13:13:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 15:46:56.366978
• Title: Learning Robust Policy against Disturbance in Transition Dynamics via State-Conservative Policy Optimization
• Title（参考訳）: 状態保存政策最適化による遷移ダイナミクスの乱れに対するロバストポリシーの学習
• Authors: Yufei Kuang, Miao Lu, Jie Wang, Qi Zhou, Bin Li, Houqiang Li
• Abstract要約: 深層強化学習アルゴリズムは、ソースとターゲット環境の相違により、現実世界のタスクでは不十分な処理を行うことができる。 本研究では,前もって乱れをモデル化せずにロバストなポリシーを学習するための,モデルフリーなアクター批判アルゴリズムを提案する。 いくつかのロボット制御タスクの実験では、SCPOは遷移力学の乱れに対する堅牢なポリシーを学習している。
• 参考スコア（独自算出の注目度）: 63.75188254377202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep reinforcement learning algorithms can perform poorly in real-world tasks due to the discrepancy between source and target environments. This discrepancy is commonly viewed as the disturbance in transition dynamics. Many existing algorithms learn robust policies by modeling the disturbance and applying it to source environments during training, which usually requires prior knowledge about the disturbance and control of simulators. However, these algorithms can fail in scenarios where the disturbance from target environments is unknown or is intractable to model in simulators. To tackle this problem, we propose a novel model-free actor-critic algorithm -- namely, state-conservative policy optimization (SCPO) -- to learn robust policies without modeling the disturbance in advance. Specifically, SCPO reduces the disturbance in transition dynamics to that in state space and then approximates it by a simple gradient-based regularizer. The appealing features of SCPO include that it is simple to implement and does not require additional knowledge about the disturbance or specially designed simulators. Experiments in several robot control tasks demonstrate that SCPO learns robust policies against the disturbance in transition dynamics.
• Abstract（参考訳）: 深層強化学習アルゴリズムは、ソースとターゲット環境の相違により、現実世界のタスクでは不十分に動作することができる。 この相違は一般に遷移ダイナミクスの障害と見なされる。 多くの既存のアルゴリズムは、乱れをモデル化し、訓練中にソース環境に適用することで堅牢なポリシーを学習する。 しかし、これらのアルゴリズムは、ターゲット環境からの乱れが不明で、シミュレーターでモデル化できないシナリオで失敗する可能性がある。 この問題に対処するため,本稿では,前もって乱れをモデル化せずにロバストなポリシーを学習する,新しいモデルフリーアクタ批判アルゴリズム(SCPO)を提案する。 具体的には、SCPOは遷移力学の障害を状態空間の障害に還元し、簡単な勾配ベース正規化器で近似する。 SCPOの魅力的な特徴は、実装が簡単であり、障害や特別に設計されたシミュレータに関する追加の知識を必要としないことである。 いくつかのロボット制御タスクの実験では、SCPOは遷移力学の障害に対する堅牢なポリシーを学習している。

関連論文リスト

• Online Nonstochastic Model-Free Reinforcement Learning [35.377261344335736]
  本研究では,動的あるいは敵対的な環境に対するロバストモデルロバスト性保証について検討する。 これらのポリシーを最適化するための効率的かつ効率的なアルゴリズムを提供する。 これらは状態空間に依存せず、状態空間に依存しない最もよく知られた発展である。
  論文  参考訳（メタデータ） (2023-05-27T19:02:55Z)
• Multi-Objective Policy Gradients with Topological Constraints [108.10241442630289]
  本稿では, PPOアルゴリズムの簡単な拡張により, TMDPにおけるポリシー勾配に対する新しいアルゴリズムを提案する。 シミュレーションと実ロボットの両方の目的を任意に並べた実世界の多目的ナビゲーション問題に対して,これを実証する。
  論文  参考訳（メタデータ） (2022-09-15T07:22:58Z)
• Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
  微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。 本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。 現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
  論文  参考訳（メタデータ） (2022-04-14T17:46:26Z)
• Adversarially Regularized Policy Learning Guided by Trajectory Optimization [31.122262331980153]
  本稿では,スムーズな制御ポリシーを学習するために,trajeCtory optimizAtion (VERONICA) でガイドされた適応正規化 pOlicy learNIng を提案する。 提案手法は,ニューラルポリシー学習のサンプル効率を向上し,各種障害に対するポリシーの堅牢性を高める。
  論文  参考訳（メタデータ） (2021-09-16T00:02:11Z)
• Addressing Action Oscillations through Learning Policy Inertia [26.171039226334504]
  Policy Inertia Controller (PIC) は、既製のDRLアルゴリズムの汎用的なプラグインフレームワークとして機能する。 PIC強化政策の一般的なトレーニングアルゴリズムとしてNested Policy Iterationを提案する。 DRLアルゴリズム、すなわちNested Soft Actor-Criticを導出する。
  論文  参考訳（メタデータ） (2021-03-03T09:59:43Z)
• Neural Dynamic Policies for End-to-End Sensorimotor Learning [51.24542903398335]
  感覚運動制御における現在の主流パラダイムは、模倣であれ強化学習であれ、生の行動空間で政策を直接訓練することである。 軌道分布空間の予測を行うニューラル・ダイナミック・ポリシー(NDP)を提案する。 NDPは、いくつかのロボット制御タスクにおいて、効率と性能の両面で、これまでの最先端よりも優れている。
  論文  参考訳（メタデータ） (2020-12-04T18:59:32Z)
• Deep Reinforcement Learning amidst Lifelong Non-Stationarity [67.24635298387624]
  政治以外のRLアルゴリズムは、寿命の長い非定常性に対処できることを示す。 提案手法は潜在変数モデルを用いて,現在および過去の経験から環境表現を学習する。 また, 生涯の非定常性を示すシミュレーション環境もいくつか導入し, 環境変化を考慮しないアプローチを著しく上回っていることを実証的に確認した。
  論文  参考訳（メタデータ） (2020-06-18T17:34:50Z)
• Online Reinforcement Learning Control by Direct Heuristic Dynamic Programming: from Time-Driven to Event-Driven [80.94390916562179]
  時間駆動学習は、新しいデータが到着すると予測モデルのパラメータを継続的に更新する機械学習手法を指す。 ノイズなどの重要なシステムイベントによる時間駆動型dHDPの更新を防止することが望ましい。 イベント駆動型dHDPアルゴリズムは,従来の時間駆動型dHDPと比較して動作することを示す。
  論文  参考訳（メタデータ） (2020-06-16T05:51:25Z)
• PFPN: Continuous Control of Physically Simulated Characters using Particle Filtering Policy Network [0.9137554315375919]
  本稿では,粒子に基づく行動政策をガウス政策の代替とみなす枠組みを提案する。 本手法が様々なモーションキャプチャー模倣タスクに適用可能であることを実証する。
  論文  参考訳（メタデータ） (2020-03-16T00:35:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。