論文の概要: Leveraging Symmetry to Accelerate Learning of Trajectory Tracking Controllers for Free-Flying Robotic Systems
- arxiv url: http://arxiv.org/abs/2409.11238v1
- Date: Tue, 17 Sep 2024 14:39:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 16:25:29.020623
- Title: Leveraging Symmetry to Accelerate Learning of Trajectory Tracking Controllers for Free-Flying Robotic Systems
- Title（参考訳）: 自由飛行ロボットシステムのための軌道追従制御器の学習促進のための対称性の活用
- Authors: Jake Welde, Nishanth Rao, Pratik Kunapuli, Dinesh Jayaraman, Vijay Kumar,
- Abstract要約: トラッキングコントローラにより、ロボットシステムは計画された基準軌道を正確に追従することができる。
本研究では,フローティングベースを持つロボットシステムの固有リー群対称性を活用して,トラッキングコントローラの学習における課題を軽減する。
その結果,対称性を意識したアプローチはトレーニングを加速し,同一のトレーニングステップの後に追跡誤差を減少させることがわかった。
- 参考スコア（独自算出の注目度）: 24.360194697715382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tracking controllers enable robotic systems to accurately follow planned reference trajectories. In particular, reinforcement learning (RL) has shown promise in the synthesis of controllers for systems with complex dynamics and modest online compute budgets. However, the poor sample efficiency of RL and the challenges of reward design make training slow and sometimes unstable, especially for high-dimensional systems. In this work, we leverage the inherent Lie group symmetries of robotic systems with a floating base to mitigate these challenges when learning tracking controllers. We model a general tracking problem as a Markov decision process (MDP) that captures the evolution of both the physical and reference states. Next, we prove that symmetry in the underlying dynamics and running costs leads to an MDP homomorphism, a mapping that allows a policy trained on a lower-dimensional "quotient" MDP to be lifted to an optimal tracking controller for the original system. We compare this symmetry-informed approach to an unstructured baseline, using Proximal Policy Optimization (PPO) to learn tracking controllers for three systems: the Particle (a forced point mass), the Astrobee (a fullyactuated space robot), and the Quadrotor (an underactuated system). Results show that a symmetry-aware approach both accelerates training and reduces tracking error after the same number of training steps.
- Abstract（参考訳）: トラッキングコントローラにより、ロボットシステムは計画された基準軌道を正確に追従することができる。
特に、強化学習(RL)は、複雑な力学と控えめなオンライン計算予算を持つシステムのための制御器の合成において有望であることを示す。
しかしながら、RLのサンプル効率の低さと報酬設計の課題は、特に高次元システムにおいて、トレーニングを遅く、時には不安定にする。
本研究では,フローティングベースを持つロボットシステムの固有リー群対称性を活用して,トラッキングコントローラの学習における課題を軽減する。
我々は、物理状態と参照状態の両方の進化を捉えるマルコフ決定過程(MDP)として、一般的な追跡問題をモデル化する。
次に、基礎となるダイナミックスとランニングコストの対称性が、低次元の「商」MDPで訓練されたポリシーを元のシステムの最適トラッキングコントローラに持ち上げることができるマッピングであるMDP準同型に導かれることを証明した。
我々は、この対称性に富んだアプローチを、PPO(Proximal Policy Optimization)を用いて、粒子(強制点質量)、アストローブ(完全な宇宙ロボット)、クアドロター(不動系)の3つのシステムのトラッキングコントローラを学習する。
その結果,対称性を意識したアプローチはトレーニングを加速し,同一のトレーニングステップの後に追跡誤差を減少させることがわかった。
関連論文リスト
- Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining [50.00291020618743]
この研究は、大規模なデータセットを再計算し、再トレーニングすることなくオンラインチューニングが可能な、新しいパラメータ適応型AMPCアーキテクチャを導入している。
資源制約の厳しいマイクロコントローラ(MCU)を用いた2種類の実カートポールシステムの揺らぎを制御し,パラメータ適応型AMPCの有効性を示す。
これらの貢献は、現実世界のシステムにおけるAMPCの実践的応用に向けた重要な一歩である。
論文 参考訳（メタデータ） (2024-04-08T20:02:19Z) - Modelling, Positioning, and Deep Reinforcement Learning Path Tracking
Control of Scaled Robotic Vehicles: Design and Experimental Validation [3.807917169053206]
スケールされたロボットカーは通常、車両の状態の推定と制御に特化したタスクを含む階層的な制御機構を備えている。
本稿では, (i) フェデレートされた拡張カルマンフィルタ (FEKF) と (ii) エキスパートデモレータを用いて訓練された新しい深部強化学習 (DRL) パストラッキングコントローラを提案する。
実験により検証されたモデルは、(i)FEKFの設計を支援するために使用され、(ii)DRLに基づく経路追跡アルゴリズムをトレーニングするためのデジタルツインとして機能する。
論文 参考訳（メタデータ） (2024-01-10T14:40:53Z) - Model-free tracking control of complex dynamical trajectories with
machine learning [0.2356141385409842]
我々は,2腕ロボットマニピュレータを制御するモデルフリーの機械学習フレームワークを開発した。
様々な周期的信号とカオス的信号を用いた制御フレームワークの有効性を示す。
論文 参考訳（メタデータ） (2023-09-20T17:10:10Z) - Training Efficient Controllers via Analytic Policy Gradient [44.0762454494769]
ロボットシステムの制御設計は複雑であり、しばしば軌道を正確に追従するために最適化を解く必要がある。
Model Predictive Control (MPC)のようなオンライン最適化手法は、優れたトラッキング性能を実現するために示されているが、高い計算能力を必要とする。
本稿では,この問題に対処するための分析政策グラディエント(APG)手法を提案する。
論文 参考訳（メタデータ） (2022-09-26T22:04:35Z) - Epersist: A Self Balancing Robot Using PID Controller And Deep
Reinforcement Learning [0.0]
二輪自走式ロボットは逆振り子の例であり、本質的に非線形で不安定なシステムである。
「エスペリスト」とは、ロバストな制御機構を提供することで、当初不安定なシステムに逆らうという課題を克服することである。
論文 参考訳（メタデータ） (2022-07-23T06:27:21Z) - OSCAR: Data-Driven Operational Space Control for Adaptive and Robust
Robot Manipulation [50.59541802645156]
オペレーショナル・スペース・コントロール(OSC)は、操作のための効果的なタスクスペース・コントローラとして使われてきた。
本稿では,データ駆動型OSCのモデル誤差を補償するOSC for Adaptation and Robustness (OSCAR)を提案する。
本手法は,様々なシミュレーション操作問題に対して評価し,制御器のベースラインの配列よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2021-10-02T01:21:38Z) - Finite-time System Identification and Adaptive Control in Autoregressive
Exogenous Systems [79.67879934935661]
未知のARXシステムのシステム識別と適応制御の問題について検討する。
我々は,オープンループとクローズループの両方のデータ収集の下で,ARXシステムに対する有限時間学習保証を提供する。
論文 参考訳（メタデータ） (2021-08-26T18:00:00Z) - Adaptive Optimal Trajectory Tracking Control Applied to a Large-Scale
Ball-on-Plate System [0.0]
ADPを用いた大規模ボール・オン・プレートシステムのための最適軌道追従制御器を提案する。
提案手法では,セットポイントトラッキングの代わりに参照軌道を近似し,一定のオフセット項を自動的に補償することができる。
実験の結果, このトラッキング機構は, セットポイントコントローラに比べて制御コストを大幅に削減することがわかった。
論文 参考訳（メタデータ） (2020-10-26T11:22:03Z) - Online Reinforcement Learning Control by Direct Heuristic Dynamic
Programming: from Time-Driven to Event-Driven [80.94390916562179]
時間駆動学習は、新しいデータが到着すると予測モデルのパラメータを継続的に更新する機械学習手法を指す。
ノイズなどの重要なシステムイベントによる時間駆動型dHDPの更新を防止することが望ましい。
イベント駆動型dHDPアルゴリズムは,従来の時間駆動型dHDPと比較して動作することを示す。
論文 参考訳（メタデータ） (2020-06-16T05:51:25Z) - Adaptive Control and Regret Minimization in Linear Quadratic Gaussian
(LQG) Setting [91.43582419264763]
我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。
LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
論文 参考訳（メタデータ） (2020-03-12T19:56:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。