論文の概要: Multiplicative Controller Fusion: Leveraging Algorithmic Priors for
Sample-efficient Reinforcement Learning and Safe Sim-To-Real Transfer
- arxiv url: http://arxiv.org/abs/2003.05117v3
- Date: Mon, 27 Jul 2020 07:02:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 15:25:59.870512
- Title: Multiplicative Controller Fusion: Leveraging Algorithmic Priors for
Sample-efficient Reinforcement Learning and Safe Sim-To-Real Transfer
- Title（参考訳）: Multiplicative Controller Fusion: サンプル効率強化学習のためのアルゴリズム優先の活用と安全なSim-to-Real転送
- Authors: Krishan Rana, Vibhavari Dasagi, Ben Talbot, Michael Milford and Niko
S\"underhauf
- Abstract要約: 本稿では,既存の準最適解を活用可能なモデルフリー強化学習手法を提案する。
訓練中は, ゲート融合法により, 先行者が探査の初期段階を案内できる。
本稿では,ロボットナビゲーションにおけるマルチプリケーティブ・コントローラ・フュージョン・アプローチの有効性を示す。
- 参考スコア（独自算出の注目度）: 18.50206483493784
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning-based approaches often outperform hand-coded algorithmic solutions
for many problems in robotics. However, learning long-horizon tasks on real
robot hardware can be intractable, and transferring a learned policy from
simulation to reality is still extremely challenging. We present a novel
approach to model-free reinforcement learning that can leverage existing
sub-optimal solutions as an algorithmic prior during training and deployment.
During training, our gated fusion approach enables the prior to guide the
initial stages of exploration, increasing sample-efficiency and enabling
learning from sparse long-horizon reward signals. Importantly, the policy can
learn to improve beyond the performance of the sub-optimal prior since the
prior's influence is annealed gradually. During deployment, the policy's
uncertainty provides a reliable strategy for transferring a simulation-trained
policy to the real world by falling back to the prior controller in uncertain
states. We show the efficacy of our Multiplicative Controller Fusion approach
on the task of robot navigation and demonstrate safe transfer from simulation
to the real world without any fine-tuning. The code for this project is made
publicly available at https://sites.google.com/view/mcf-nav/home
- Abstract（参考訳）: 学習に基づくアプローチは、ロボット工学における多くの問題に対して、しばしば手書きのアルゴリズムソリューションよりも優れています。
しかし、ロボットのハードウェア上で長期にわたるタスクを学習することは難題であり、シミュレーションから現実への学習方針の移行は依然として極めて困難である。
本稿では,モデルなし強化学習において,既存の準最適解を学習・展開に先立ってアルゴリズムとして活用する手法を提案する。
訓練中, ゲート融合法により, 探索の初期段階を導出し, サンプル効率を向上し, 疎長い報奨信号から学習することができる。
重要なのは、前者の影響力が徐々にアニールされるため、その政策は副最適化の性能を超えて改善することを学ぶことができることである。
展開中、ポリシーの不確実性は、不確実な状態で以前のコントローラにフォールバックすることで、シミュレーション訓練されたポリシーを現実世界に転送するための信頼性の高い戦略を提供する。
本稿では,ロボットナビゲーションのタスクに対する乗法制御融合手法の有効性を示し,微調整することなくシミュレーションから実世界への安全な移動を実証する。
このプロジェクトのコードはhttps://sites.google.com/view/mcf-nav/homeで公開されている。
関連論文リスト
- Single-Shot Learning of Stable Dynamical Systems for Long-Horizon Manipulation Tasks [48.54757719504994]
本稿では,必要なトレーニングデータ量を削減しつつ,タスク成功率の向上に焦点をあてる。
提案手法では,長距離実証をウェイポイントとサブゴールで定義された離散ステップに分割する手法を提案する。
シミュレーションと実世界の両方の実験を通して,本手法を検証し,シミュレーションから物理ロボットプラットフォームへの効果的移行を実証した。
論文 参考訳（メタデータ） (2024-10-01T19:49:56Z) - Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。
提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。
ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
論文 参考訳（メタデータ） (2024-09-12T11:50:06Z) - Sample-efficient Imitative Multi-token Decision Transformer for Real-world Driving [18.34685506480288]
我々はSimDT(SimDT)を提案する。
SimDTでは、マルチトークン予測、オンライン模倣学習パイプライン、シーケンスモデリング強化学習への優先的なエクスペリエンスリプレイが導入されている。
結果は、Waymaxベンチマークのオープンループとクローズループ設定の両方で、人気のある模倣と強化学習アルゴリズムを上回る。
論文 参考訳（メタデータ） (2024-06-18T14:27:14Z) - Towards Real-World Efficiency: Domain Randomization in Reinforcement Learning for Pre-Capture of Free-Floating Moving Targets by Autonomous Robots [0.0]
本研究では,微小重力環境下でのロボットプレグラスピングの複雑な課題に対処するために,深層強化学習に基づく制御手法を提案する。
本手法は,ソフトアクター・クリティックな手法を用いて,自由な移動物体にグリッパーが十分に接近できるように,非政治強化学習の枠組みを取り入れたものである。
プレグラスピングのアプローチタスクを効果的に学習するために,エージェントに明確で洞察に富んだフィードバックを提供する報酬関数を開発した。
論文 参考訳（メタデータ） (2024-06-10T16:54:51Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳（メタデータ） (2023-10-23T17:50:08Z) - DiAReL: Reinforcement Learning with Disturbance Awareness for Robust
Sim2Real Policy Transfer in Robot Control [0.0]
遅延マルコフ決定プロセスは、最近コミットされたアクションの有限時間ウィンドウでエージェントの状態空間を拡大することでマルコフ特性を満たす。
本稿では,遅延した環境下での乱れ増進型マルコフ決定プロセスを導入し,政治強化学習アルゴリズムのトレーニングにおける乱れ推定を取り入れた新しい表現法を提案する。
論文 参考訳（メタデータ） (2023-06-15T10:11:38Z) - Model-based Safe Deep Reinforcement Learning via a Constrained Proximal
Policy Optimization Algorithm [4.128216503196621]
オンライン方式で環境の遷移動態を学習する,オンライン型モデルに基づくセーフディープRLアルゴリズムを提案する。
我々は,本アルゴリズムがより標本効率が高く,制約付きモデルフリーアプローチと比較して累積的ハザード違反が低いことを示す。
論文 参考訳（メタデータ） (2022-10-14T06:53:02Z) - Don't Start From Scratch: Leveraging Prior Data to Automate Robotic
Reinforcement Learning [70.70104870417784]
強化学習(RL)アルゴリズムは、ロボットシステムの自律的なスキル獲得を可能にするという約束を持っている。
現実のロボットRLは、通常、環境をリセットするためにデータ収集と頻繁な人間の介入を必要とする。
本研究では,従来のタスクから収集した多様なオフラインデータセットを効果的に活用することで,これらの課題にどのように対処できるかを検討する。
論文 参考訳（メタデータ） (2022-07-11T08:31:22Z) - AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。
以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
論文 参考訳（メタデータ） (2020-06-16T17:54:41Z) - Guided Uncertainty-Aware Policy Optimization: Combining Learning and
Model-Based Strategies for Sample-Efficient Policy Learning [75.56839075060819]
従来のロボットのアプローチは、環境の正確なモデル、タスクの実行方法の詳細な説明、現在の状態を追跡するための堅牢な認識システムに依存している。
強化学習アプローチは、タスクを記述するための報酬信号だけで、生の感覚入力から直接操作することができるが、非常にサンプル非効率で脆弱である。
本研究では,ロボットの知覚・運動パイプラインにおける不正確さを克服できる一般的な手法を得るために,モデルに基づく手法の強みと学習に基づく手法の柔軟性を組み合わせる。
論文 参考訳（メタデータ） (2020-05-21T19:47:05Z) - Online Constrained Model-based Reinforcement Learning [13.362455603441552]
主要な要件は、限られた時間とリソース予算内に留まりながら、継続的な状態とアクションスペースを扱う能力である。
本稿では,ガウス過程回帰と回帰水平制御を組み合わせたモデルに基づくアプローチを提案する。
本研究では,自動走行作業におけるオンライン学習のメリットを実証する。
論文 参考訳（メタデータ） (2020-04-07T15:51:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。