論文の概要: Reduced-Dimensional Reinforcement Learning Control using Singular Perturbation Approximations

• arxiv url: http://arxiv.org/abs/2004.14501v1
• Date: Wed, 29 Apr 2020 22:15:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 14:45:13.015405
• Title: Reduced-Dimensional Reinforcement Learning Control using Singular Perturbation Approximations
• Title（参考訳）: 特異摂動近似を用いた低次元強化学習制御
• Authors: Sayak Mukherjee, He Bai, Aranya Chakrabortty
• Abstract要約: 本稿では,線形時間不変特異摂動(SP)システムに対するモデルフリー,低次元強化学習に基づく最適制御設計を提案する。 まず、未知の状態と入力行列を持つ汎用SPシステムに対して、状態フィードバックと出力フィードバックに基づくRL制御設計を提案する。 両設計をクラスタ化マルチエージェントコンセンサスネットワークに拡張し,SP特性をクラスタリングにより反映する。
• 参考スコア（独自算出の注目度）: 9.136645265350284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a set of model-free, reduced-dimensional reinforcement learning (RL) based optimal control designs for linear time-invariant singularly perturbed (SP) systems. We first present a state-feedback and output-feedback based RL control design for a generic SP system with unknown state and input matrices. We take advantage of the underlying time-scale separation property of the plant to learn a linear quadratic regulator (LQR) for only its slow dynamics, thereby saving a significant amount of learning time compared to the conventional full-dimensional RL controller. We analyze the sub-optimality of the design using SP approximation theorems and provide sufficient conditions for closed-loop stability. Thereafter, we extend both designs to clustered multi-agent consensus networks, where the SP property reflects through clustering. We develop both centralized and cluster-wise block-decentralized RL controllers for such networks, in reduced dimensions. We demonstrate the details of the implementation of these controllers using simulations of relevant numerical examples and compare them with conventional RL designs to show the computational benefits of our approach.
• Abstract（参考訳）: 本稿では,線形時間不変特異摂動(SP)システムに対するモデルフリー,還元次元強化学習(RL)に基づく最適制御設計を提案する。 まず,未知状態と入力行列を持つ汎用spシステムの状態フィードバックと出力フィードバックに基づくrl制御設計を提案する。 プラントの時間スケール分離特性を生かして、線形二次制御器(LQR)を学習し、従来のフル次元RLコントローラと比較して学習時間を大幅に短縮する。 我々はSP近似定理を用いて設計の準最適性を解析し、閉ループ安定性に十分な条件を提供する。 その後,sp特性がクラスタリングを通じて反映するマルチエージェントコンセンサスネットワークに,両設計を拡張した。 このようなネットワークのための集中型およびクラスタ型ブロック分散RLコントローラを,次元を縮小した形で開発する。 関連する数値例のシミュレーションを用いて,これらの制御器の実装の詳細を実証し,従来のrl設計と比較し,計算の利点を示す。

関連論文リスト

• Communication-Control Codesign for Large-Scale Wireless Networked Control Systems [80.30532872347668]
  無線ネットワーク制御システム(Wireless Networked Control Systems, WNCS)は、ドローン群や自律ロボットなどのアプリケーションにおいて柔軟な制御を可能にする産業用4.0に必須である。 本稿では,マルチ状態マルコフブロックフェーディングチャネル上で限られた無線リソースを共有するセンサやアクチュエータを用いて,複数の制御ループ間の相関ダイナミクスを捕捉する実用的WNCSモデルを提案する。 本研究では,ハイブリッドな動作空間を効率的に処理し,通信制御の相関関係を捉え,疎域変数や浮動小数点制御の入力に拘わらず堅牢なトレーニングを確実にするDeep Reinforcement Learning (DRL)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-10-15T06:28:21Z)
• SimBa: Simplicity Bias for Scaling Up Parameters in Deep Reinforcement Learning [49.83621156017321]
  SimBaは、単純さのバイアスを注入することによって、深いRLでパラメータをスケールアップするように設計されたアーキテクチャである。 SimBaでパラメータをスケールアップすることで、オフポリシー、オンポリシー、アン教師なしメソッドを含む様々なディープRLアルゴリズムのサンプル効率が一貫して改善される。
  論文  参考訳（メタデータ） (2024-10-13T07:20:53Z)
• ReACT: Reinforcement Learning for Controller Parametrization using B-Spline Geometries [0.0]
  本研究は,N次元B-スプライン測地(BSG)を用いた深部強化学習(DRL)を用いた新しいアプローチを提案する。 本稿では,操作条件に依存する複雑な振る舞いを持つシステムのクラスであるパラメータ変量システムの制御に焦点をあてる。 多数の動作条件に依存するコントローラパラメータをマッピングするために,BSGを導入し,適応処理をより効率的にする。
  論文  参考訳（メタデータ） (2024-01-10T16:27:30Z)
• Sample-efficient Model-based Reinforcement Learning for Quantum Control [0.2999888908665658]
  ノイズの多い時間依存ゲート最適化のためのモデルベース強化学習(RL)手法を提案する。 標準モデルフリーRLに比べて,本手法のサンプル複雑性において,桁違いの優位性を示す。 提案アルゴリズムは,部分的特徴付き1量子ビット系と2量子ビット系の制御に適している。
  論文  参考訳（メタデータ） (2023-04-19T15:05:19Z)
• Structured Sparsity Learning for Efficient Video Super-Resolution [99.1632164448236]
  我々は、ビデオ超解像(VSR)モデルの特性に応じて、構造化スパシティ学習(SSL)と呼ばれる構造化プルーニング手法を開発する。 SSLでは,残差ブロック,リカレントネットワーク,アップサンプリングネットワークなど,VSRモデルのいくつかの重要なコンポーネントに対するプルーニングスキームを設計する。
  論文  参考訳（メタデータ） (2022-06-15T17:36:04Z)
• Towards Standardizing Reinforcement Learning Approaches for Stochastic Production Scheduling [77.34726150561087]
  強化学習はスケジューリングの問題を解決するのに使える。 既存の研究は、コードが利用できない複雑なシミュレーションに依存している。 から選ぶべきRLの設計の広大な配列があります。 モデル記述の標準化 - 生産セットアップとRL設計の両方 - と検証スキームは前提条件です。
  論文  参考訳（メタデータ） (2021-04-16T16:07:10Z)
• Two-step reinforcement learning for model-free redesign of nonlinear optimal regulator [1.5624421399300306]
  強化学習(Reinforcement Learning, RL)は、非線形力学系のための最適制御系をモデル無しで再設計できる、有望なアプローチの1つである。 未知の非線形システムに対する最適レギュレーション再設計問題において,RLの過渡学習性能を向上させるモデルフリー2段階設計手法を提案する。
  論文  参考訳（メタデータ） (2021-03-05T17:12:33Z)
• Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
  渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。 今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。 実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。 本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:49:28Z)
• Reinforcement Learning of Structured Control for Linear Systems with Unknown State Matrix [0.0]
  十分な安定性と性能保証と合わせて強化学習(RL)のアイデアを提示する。 このフレームワークによって実現される特別な制御構造は、多くの大規模サイバー物理システムで必要とされる分散学習制御である。
  論文  参考訳（メタデータ） (2020-11-02T17:04:34Z)
• Decomposability and Parallel Computation of Multi-Agent LQR [19.710361049812608]
  連続時間線形MASにおける線形レギュレータ(LQR)設計のための並列RLスキームを提案する。 我々は、MAS が均質であれば、この分解は閉ループ最適性を保持することを示す。 提案手法は,LQRコストの累積価値を損なうことなく,学習の大幅な高速化を保証できる。
  論文  参考訳（メタデータ） (2020-10-16T20:15:39Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。