論文の概要: Goal-Conditioned Terminal Value Estimation for Real-time and Multi-task Model Predictive Control

• arxiv url: http://arxiv.org/abs/2410.04929v2
• Date: Tue, 8 Oct 2024 10:18:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:18:10.030109
• Title: Goal-Conditioned Terminal Value Estimation for Real-time and Multi-task Model Predictive Control
• Title（参考訳）: 実時間およびマルチタスクモデル予測制御のためのゴール条件付き端末値推定
• Authors: Mitsuki Morita, Satoshi Yamamori, Satoshi Yagi, Norikazu Sugimoto, Jun Morimoto,
• Abstract要約: マルチタスクポリシー最適化を実現するために,目標条件付き端末値学習を用いたMPCフレームワークを開発した。 提案手法を2足歩行逆振りロボットモデルで評価し,目標条件付き終端値学習と上層軌道プランナーを組み合わせることで,リアルタイムに制御できることを確認する。
• 参考スコア（独自算出の注目度）: 1.2687745030755995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While MPC enables nonlinear feedback control by solving an optimal control problem at each timestep, the computational burden tends to be significantly large, making it difficult to optimize a policy within the control period. To address this issue, one possible approach is to utilize terminal value learning to reduce computational costs. However, the learned value cannot be used for other tasks in situations where the task dynamically changes in the original MPC setup. In this study, we develop an MPC framework with goal-conditioned terminal value learning to achieve multitask policy optimization while reducing computational time. Furthermore, by using a hierarchical control structure that allows the upper-level trajectory planner to output appropriate goal-conditioned trajectories, we demonstrate that a robot model is able to generate diverse motions. We evaluate the proposed method on a bipedal inverted pendulum robot model and confirm that combining goal-conditioned terminal value learning with an upper-level trajectory planner enables real-time control; thus, the robot successfully tracks a target trajectory on sloped terrain.
• Abstract（参考訳）: MPCは各タイミングで最適制御問題を解くことで非線形フィードバック制御を可能にするが、計算負担は著しく大きくなり、制御期間内でのポリシーの最適化が困難になる。 この問題に対処するためには,端末値学習を用いて計算コストを削減する方法が考えられる。 しかし、元のMPCセットアップでタスクが動的に変化する状況では、学習した値は他のタスクには使用できない。 本研究では,目標条件付き端末値学習を用いたMPCフレームワークを開発し,計算時間を短縮しつつマルチタスクポリシーの最適化を実現する。 さらに,上層軌道プランナが適切な目標条件の軌道を出力できる階層的な制御構造を用いることで,ロボットモデルが多様な動きを生成できることを実証する。 提案手法を2足歩行逆振子ロボットモデルで評価し,目標条件付き端末値学習と上層軌道プランナーの併用によりリアルタイム制御が可能であることを確認し,傾斜地形上での目標軌道の追従に成功している。

関連論文リスト

• Training Efficient Controllers via Analytic Policy Gradient [44.0762454494769]
  ロボットシステムの制御設計は複雑であり、しばしば軌道を正確に追従するために最適化を解く必要がある。 Model Predictive Control (MPC)のようなオンライン最適化手法は、優れたトラッキング性能を実現するために示されているが、高い計算能力を必要とする。 本稿では,この問題に対処するための分析政策グラディエント(APG)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-26T22:04:35Z)
• Accelerated Reinforcement Learning for Temporal Logic Control Objectives [10.216293366496688]
  本稿では,未知マルコフ決定過程(MDP)をモデル化した移動ロボットの学習制御ポリシーの問題に対処する。 本稿では,制御ポリシを関連手法よりもはるかに高速に学習可能な制御対象に対するモデルベース強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T17:09:51Z)
• Controllable Dynamic Multi-Task Architectures [92.74372912009127]
  本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。 本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
  論文  参考訳（メタデータ） (2022-03-28T17:56:40Z)
• Policy Search for Model Predictive Control with Application to Agile Drone Flight [56.24908013905407]
  MPCのためのポリシ・フォー・モデル・予測制御フレームワークを提案する。 具体的には、パラメータ化コントローラとしてMPCを定式化し、パラメータ化の難しい決定変数を高レベルポリシーとして表現する。 シミュレーションと実環境の両方において,我々の制御器が堅牢かつリアルタイムに制御性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2021-12-07T17:39:24Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• Optimal Cost Design for Model Predictive Control [30.86835688868485]
  多くのロボティクスドメインは、計画に非モデル制御(MPC)を使用し、時間的地平線を減らし、最適化を行い、各ステップで再計画を行う。 本研究では, MPC を用いて最適化するコストは, タスクの真理コスト(端末コスト)と同等である,という一般的な仮定に挑戦する。 連続型MDPにおけるMPC計画ロボットの最適コストを設計できるゼロ階トラジェクトリに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-04-23T00:00:58Z)
• The Value of Planning for Infinite-Horizon Model Predictive Control [0.0]
  現代のプランナーが使用する中間データ構造を近似値関数として解釈する方法を示す。 この値関数はMPCによって直接使用できることを示し、実行時により効率的で回復力のある振る舞いをもたらす。
  論文  参考訳（メタデータ） (2021-04-07T02:21:55Z)
• Learning High-Level Policies for Model Predictive Control [54.00297896763184]
  Model Predictive Control (MPC)は、ロボット制御タスクに対する堅牢なソリューションを提供する。 ニューラルネットワークの高レベルポリシーを学習するための自己教師付き学習アルゴリズムを提案する。 提案手法は, 標準的なMPCでは困難な状況に対処できることを示す。
  論文  参考訳（メタデータ） (2020-07-20T17:12:34Z)
• Online Reinforcement Learning Control by Direct Heuristic Dynamic Programming: from Time-Driven to Event-Driven [80.94390916562179]
  時間駆動学習は、新しいデータが到着すると予測モデルのパラメータを継続的に更新する機械学習手法を指す。 ノイズなどの重要なシステムイベントによる時間駆動型dHDPの更新を防止することが望ましい。 イベント駆動型dHDPアルゴリズムは,従来の時間駆動型dHDPと比較して動作することを示す。
  論文  参考訳（メタデータ） (2020-06-16T05:51:25Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。