論文の概要: Neural Operator based Reinforcement Learning for Control of first-order PDEs with Spatially-Varying State Delay

• arxiv url: http://arxiv.org/abs/2501.18201v1
• Date: Thu, 30 Jan 2025 08:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:14:01.616685
• Title: Neural Operator based Reinforcement Learning for Control of first-order PDEs with Spatially-Varying State Delay
• Title（参考訳）: 空間変化状態遅延を考慮した一階PDE制御のためのニューラル演算子に基づく強化学習
• Authors: Jiaqi Hu, Jie Qi, Jing Zhang,
• Abstract要約: 遅延に影響を受ける分散パラメータシステムの制御は難しい作業である。 PDEバックステッピング制御戦略と深部強化学習(RL)を組み合わせることで、不安定な一階双曲型PDEを空間的遅延で制御する問題に対処する。 シミュレーションでは,従来のバックステッピング知識や解析コントローラを使わずに,ベースラインのSACよりも優れていた。
• 参考スコア（独自算出の注目度）: 9.616306243200269
• License:
• Abstract: Control of distributed parameter systems affected by delays is a challenging task, particularly when the delays depend on spatial variables. The idea of integrating analytical control theory with learning-based control within a unified control scheme is becoming increasingly promising and advantageous. In this paper, we address the problem of controlling an unstable first-order hyperbolic PDE with spatially-varying delays by combining PDE backstepping control strategies and deep reinforcement learning (RL). To eliminate the assumption on the delay function required for the backstepping design, we propose a soft actor-critic (SAC) architecture incorporating a DeepONet to approximate the backstepping controller. The DeepONet extracts features from the backstepping controller and feeds them into the policy network. In simulations, our algorithm outperforms the baseline SAC without prior backstepping knowledge and the analytical controller.
• Abstract（参考訳）: 遅延に影響を受ける分散パラメータシステムの制御は、特に遅延が空間変数に依存する場合の課題である。 統合制御方式における分析制御理論と学習に基づく制御を統合するという考え方は、ますます有望で有利なものになりつつある。 本稿では,PDEバックステッピング制御戦略と深部強化学習(RL)を組み合わせることで,不安定な一階双曲型PDEを空間的遅延で制御する問題に対処する。 バックステッピング設計に必要な遅延関数の仮定をなくすために,DeepONetを組み込んだソフトアクタクリティカル(SAC)アーキテクチャを提案する。 DeepONetはバックステッピングコントローラから機能を抽出し、ポリシーネットワークにフィードする。 シミュレーションでは,従来のバックステッピング知識や解析コントローラを使わずに,ベースラインのSACよりも優れていた。

関連論文リスト

• Communication-Control Codesign for Large-Scale Wireless Networked Control Systems [80.30532872347668]
  無線ネットワーク制御システム(Wireless Networked Control Systems, WNCS)は、ドローン群や自律ロボットなどのアプリケーションにおいて柔軟な制御を可能にする産業用4.0に必須である。 本稿では,マルチ状態マルコフブロックフェーディングチャネル上で限られた無線リソースを共有するセンサやアクチュエータを用いて,複数の制御ループ間の相関ダイナミクスを捕捉する実用的WNCSモデルを提案する。 本研究では,ハイブリッドな動作空間を効率的に処理し,通信制御の相関関係を捉え,疎域変数や浮動小数点制御の入力に拘わらず堅牢なトレーニングを確実にするDeep Reinforcement Learning (DRL)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-10-15T06:28:21Z)
• Resource Optimization for Tail-Based Control in Wireless Networked Control Systems [31.144888314890597]
  制御安定性の達成は、スケーラブルな無線ネットワーク制御システムにおける重要な設計課題の1つである。 本稿では,従来のLQR(Linear Quadratic Regulator)のコスト関数を拡張し,共有無線ネットワーク上で複数の動的制御システムに拡張する,テールベース制御として定義された代替制御の概念の利用について検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:27:44Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• ReACT: Reinforcement Learning for Controller Parametrization using B-Spline Geometries [0.0]
  本研究は,N次元B-スプライン測地(BSG)を用いた深部強化学習(DRL)を用いた新しいアプローチを提案する。 本稿では,操作条件に依存する複雑な振る舞いを持つシステムのクラスであるパラメータ変量システムの制御に焦点をあてる。 多数の動作条件に依存するコントローラパラメータをマッピングするために,BSGを導入し,適応処理をより効率的にする。
  論文  参考訳（メタデータ） (2024-01-10T16:27:30Z)
• Neural Operators for Boundary Stabilization of Stop-and-go Traffic [1.90298817989995]
  本稿では,ニューラル演算子を用いたPDE境界制御設計への新しいアプローチを提案する。 本稿では,トラフィックPDEシステムの安定化を目的とした2種類のニューラル演算子学習手法を提案する。 特定の近似精度条件下では,NOをベースとした閉ループシステムは実用的に安定であることが証明された。
  論文  参考訳（メタデータ） (2023-12-16T08:18:39Z)
• Thompson Sampling Achieves $\tilde O(\sqrt{T})$ Regret in Linear Quadratic Control [85.22735611954694]
  我々はトンプソンサンプリング(TS)を用いた安定化可能な線形四元系レギュレータ(LQR)の適応制御問題について検討する。 我々は,LQRの適応制御のための効率的なTSアルゴリズムTSACを提案し,多次元システムであっても,$tilde O(sqrtT)$ regretを実現する。
  論文  参考訳（メタデータ） (2022-06-17T02:47:53Z)
• Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control [0.9023847175654602]
  強化学習(Reinforcement Learning, RL)は、自動制御アプリケーションにおける将来的なトピックである。 アクター批判に基づくRLコントローラのためのイニシアティブアクション状態拡張(IASA)が導入される。 この拡張は専門家の知識を必要とせず、アプローチモデルを無償にしておく。
  論文  参考訳（メタデータ） (2022-01-31T16:29:19Z)
• Finite-time System Identification and Adaptive Control in Autoregressive Exogenous Systems [79.67879934935661]
  未知のARXシステムのシステム識別と適応制御の問題について検討する。 我々は,オープンループとクローズループの両方のデータ収集の下で,ARXシステムに対する有限時間学習保証を提供する。
  論文  参考訳（メタデータ） (2021-08-26T18:00:00Z)
• Regret-optimal Estimation and Control [52.28457815067461]
  後悔最適推定器と後悔最適制御器は状態空間形式で導出可能であることを示す。 非線形力学系に対するモデル予測制御(MPC)と拡張KalmanFilter(EKF)の残差最適類似性を提案する。
  論文  参考訳（メタデータ） (2021-06-22T23:14:21Z)
• Residual Feedback Learning for Contact-Rich Manipulation Tasks with Uncertainty [22.276925045008788]
  emphglsrplは強化学習(RL)で既存のコントローラを改善するための定式化を提供する 位置・方向の不確実性を考慮したコンタクトリッチペグ挿入作業において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-08T13:06:35Z)
• Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting [91.43582419264763]
  我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。 LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
  論文  参考訳（メタデータ） (2020-03-12T19:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。