Fugu-MT 論文翻訳(概要): Meta-Reinforcement Learning for Adaptive Motor Control in Changing Robot Dynamics and Environments

論文の概要: Meta-Reinforcement Learning for Adaptive Motor Control in Changing Robot Dynamics and Environments

arxiv url: http://arxiv.org/abs/2101.07599v1
Date: Tue, 19 Jan 2021 12:57:12 GMT
ステータス: 処理完了
システム内更新日: 2021-03-22 11:15:23.917685
Title: Meta-Reinforcement Learning for Adaptive Motor Control in Changing Robot Dynamics and Environments
Title（参考訳）: ロボットのダイナミクスと環境変化における適応モータ制御のためのメタ強化学習
Authors: Timoth\'ee Anne, Jack Wilkinson, Zhibin Li
Abstract要約: この研究は、ロバストな移動のための異なる条件に制御ポリシーを適応させるメタラーニングアプローチを開発した。提案手法は, インタラクションモデルを更新し, 推定された状態-作用軌道のアクションをサンプル化し, 最適なアクションを適用し, 報酬を最大化する。
参考スコア（独自算出の注目度）: 3.5309638744466167
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work developed a meta-learning approach that adapts the control policy on the fly to different changing conditions for robust locomotion. The proposed method constantly updates the interaction model, samples feasible sequences of actions of estimated the state-action trajectories, and then applies the optimal actions to maximize the reward. To achieve online model adaptation, our proposed method learns different latent vectors of each training condition, which are selected online given the newly collected data. Our work designs appropriate state space and reward functions, and optimizes feasible actions in an MPC fashion which are then sampled directly in the joint space considering constraints, hence requiring no prior design of specific walking gaits. We further demonstrate the robot's capability of detecting unexpected changes during interaction and adapting control policies quickly. The extensive validation on the SpotMicro robot in a physics simulation shows adaptive and robust locomotion skills under varying ground friction, external pushes, and different robot models including hardware faults and changes.
Abstract（参考訳）: この研究は、ロバストな移動のための異なる条件に制御ポリシーを適応させるメタラーニングアプローチを開発した。提案手法は, 相互作用モデルを常に更新し, 状態-作用軌道の推定可能な行動列をサンプリングし, 報酬を最大化するために最適な行動を適用する。オンラインモデル適応を実現するために,提案手法では,新たに収集したデータからオンラインに選択したトレーニング条件の潜在ベクトルを学習する。本研究は,適切な状態空間と報酬関数を設計し,mpc方式で実現可能な動作を最適化し,制約を考慮したジョイント空間内で直接サンプリングすることにより,特定の歩行歩行の事前設計を必要としない。さらに,インタラクション中に予期せぬ変化を検知し,制御方針を迅速に適応するロボットの能力を示す。物理シミュレーションにおけるspotmicroロボットの広範な検証は、様々な摩擦、外部の押圧、およびハードウェアの故障や変化を含む異なるロボットモデルの下で適応的でロコモーションスキルを示す。