論文の概要: Coordinating Planning and Tracking in Layered Control Policies via Actor-Critic Learning

• arxiv url: http://arxiv.org/abs/2408.01639v1
• Date: Sat, 3 Aug 2024 02:53:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 19:10:37.614912
• Title: Coordinating Planning and Tracking in Layered Control Policies via Actor-Critic Learning
• Title（参考訳）: アクタ・クリティカル・ラーニングによる階層制御ポリシの計画と追跡の調整
• Authors: Fengjun Yang, Nikolai Matni,
• Abstract要約: 本稿では,(1)軌道プランナと(2)階層型制御アーキテクチャにおけるトラッキングコントローラを協調訓練するための強化学習(RL)に基づくアルゴリズムを提案する。 本アルゴリズムは,アクター・クリティカルな学習手法を取り入れた最適制御問題の書き直しから自然に生じる。
• 参考スコア（独自算出の注目度）: 5.229380825007323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a reinforcement learning (RL)-based algorithm to jointly train (1) a trajectory planner and (2) a tracking controller in a layered control architecture. Our algorithm arises naturally from a rewrite of the underlying optimal control problem that lends itself to an actor-critic learning approach. By explicitly learning a \textit{dual} network to coordinate the interaction between the planning and tracking layers, we demonstrate the ability to achieve an effective consensus between the two components, leading to an interpretable policy. We theoretically prove that our algorithm converges to the optimal dual network in the Linear Quadratic Regulator (LQR) setting and empirically validate its applicability to nonlinear systems through simulation experiments on a unicycle model.
• Abstract（参考訳）: 本稿では,(1)軌道プランナと(2)階層型制御アーキテクチャにおけるトラッキングコントローラを協調訓練するための強化学習(RL)に基づくアルゴリズムを提案する。 本アルゴリズムは,アクター・クリティカルな学習手法を取り入れた最適制御問題の書き直しから自然に生じる。 計画層と追跡層の間の相互作用を協調するために, 明示的に‘textit{dual} ネットワークを学習することにより, 2つのコンポーネント間の効果的なコンセンサスを実現する能力を示し, 解釈可能なポリシーを導出する。 理論的には,LQR(Linear Quadratic Regulator)設定における最適双対ネットワークに収束し,一サイクルモデルを用いたシミュレーション実験により非線形システムへの適用性を実証的に検証する。

関連論文リスト

• Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
  我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。 本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:47:52Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Towards a Theoretical Foundation of Policy Optimization for Learning Control Policies [26.04704565406123]
  グラディエントベースの手法は、様々なアプリケーション領域におけるシステム設計と最適化に広く使われてきた。 近年、制御と強化学習の文脈において、これらの手法の理論的性質の研究に新たな関心が寄せられている。 本稿では、フィードバック制御合成のための勾配に基づく反復的アプローチであるポリシー最適化に関する最近の開発について概説する。
  論文  参考訳（メタデータ） (2022-10-10T16:13:34Z)
• Deep Learning for Wireless Networked Systems: a joint Estimation-Control-Scheduling Approach [47.29474858956844]
  ワイヤレスネットワーク制御システム(Wireless Networked Control System, WNCS)は、無線通信を介してセンサ、コントローラ、アクチュエータを接続する技術であり、産業用 4.0 時代において、高度にスケーラブルで低コストな制御システムの展開を可能にする技術である。 WNCSにおける制御と通信の密接な相互作用にもかかわらず、既存のほとんどの研究は分離設計アプローチを採用している。 モデルフリーデータとモデルベースデータの両方を利用する制御と最適化のための,DRLに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-03T01:29:40Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation [118.27432851053335]
  本稿では,SAPIEN ManiSkill Challenge 2021: No Interaction Trackにおいて,以下の2つのトラックを対象としたシステムの概要と比較分析を行った。 No Interactionは、事前に収集された実証軌道からの学習ポリシーのターゲットを追跡する。 このトラックでは,タスクを一連のサブタスクに分解することで,高品質なオブジェクト操作をトリガするHuristic Rule-based Method (HRM) を設計する。 各サブタスクに対して、ロボットアームに適用可能なアクションを予測するために、単純なルールベースの制御戦略が採用されている。
  論文  参考訳（メタデータ） (2022-06-13T16:20:42Z)
• Learning Optimal Antenna Tilt Control Policies: A Contextual Linear Bandit Approach [65.27783264330711]
  セルラーネットワークにおけるアンテナ傾きの制御は、ネットワークのカバレッジとキャパシティの間の効率的なトレードオフに到達するために不可欠である。 既存のデータから最適な傾き制御ポリシーを学習するアルゴリズムを考案する。 従来のルールベースの学習アルゴリズムよりもはるかに少ないデータサンプルを用いて最適な傾き更新ポリシーを作成できることを示す。
  論文  参考訳（メタデータ） (2022-01-06T18:24:30Z)
• Compositional Reinforcement Learning from Logical Specifications [21.193231846438895]
  最近のアプローチでは、与えられた仕様から報酬関数を自動的に生成し、適切な強化学習アルゴリズムを用いてポリシーを学習する。 我々は、高レベルの計画と強化学習をインターリーブする、DiRLと呼ばれる構成学習手法を開発した。 提案手法では,各エッジ(サブタスク)のニューラルネットワークポリシをDijkstraスタイルの計画アルゴリズムで学習し,グラフの高レベルプランを計算する。
  論文  参考訳（メタデータ） (2021-06-25T22:54:28Z)
• Integrated Decision and Control: Towards Interpretable and Efficient Driving Intelligence [13.589285628074542]
  自動走行車のための解釈可能かつ効率的な意思決定・制御フレームワークを提案する。 駆動タスクを階層的に構造化されたマルチパス計画と最適追跡に分解する。 その結果,オンライン計算の効率性や交通効率,安全性などの運転性能が向上した。
  論文  参考訳（メタデータ） (2021-03-18T14:43:31Z)
• Learning Event-triggered Control from Data through Joint Optimization [7.391641422048646]
  イベントトリガー制御戦略のモデルフリー学習のためのフレームワークを提案する。 階層的強化学習に基づく新しいアルゴリズムを提案する。 得られたアルゴリズムは, 資源の節約や非線形・高次元システムへのシームレスなスケールで, 高性能な制御を実現する。
  論文  参考訳（メタデータ） (2020-08-11T14:15:38Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。