論文の概要: Observer-Feedback-Feedforward Controller Structures in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2304.10276v1
• Date: Thu, 20 Apr 2023 12:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 13:23:47.516337
• Title: Observer-Feedback-Feedforward Controller Structures in Reinforcement Learning
• Title（参考訳）: 強化学習におけるオブザーバフィードバックフィードフォワード制御構造
• Authors: Ruoqi Zhang, Per Mattson, Torbj\"orn Wigren
• Abstract要約: 本稿では、強化学習に基づく非線形適応制御における構造化ニューラルネットワークの利用を提案する。 焦点は部分的に観測可能なシステムであり、状態とフィードフォワードオブザーバと状態フィードバックとフィードフォワードコントローラを分離したニューラルネットワークを備えている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The paper proposes the use of structured neural networks for reinforcement learning based nonlinear adaptive control. The focus is on partially observable systems, with separate neural networks for the state and feedforward observer and the state feedback and feedforward controller. The observer dynamics are modelled by recurrent neural networks while a standard network is used for the controller. As discussed in the paper, this leads to a separation of the observer dynamics to the recurrent neural network part, and the state feedback to the feedback and feedforward network. The structured approach reduces the computational complexity and gives the reinforcement learning based controller an {\em understandable} structure as compared to when one single neural network is used. As shown by simulation the proposed structure has the additional and main advantage that the training becomes significantly faster. Two ways to include feedforward structure are presented, one related to state feedback control and one related to classical feedforward control. The latter method introduces further structure with a separate recurrent neural network that processes only the measured disturbance. When evaluated with simulation on a nonlinear cascaded double tank process, the method with most structure performs the best, with excellent feedforward disturbance rejection gains.
• Abstract（参考訳）: 本稿では,構造化ニューラルネットワークを用いた強化学習に基づく非線形適応制御を提案する。 焦点は、状態とフィードフォワードオブザーバと状態フィードバックとフィードフォワードコントローラの別々のニューラルネットワークを備えた、部分的に観測可能なシステムである。 オブザーバダイナミクスはリカレントニューラルネットワークによってモデル化され、コントローラには標準ネットワークが使用される。 本稿では,本論文で論じたように,再帰的ニューラルネットワークへのオブザーバダイナミクスと,フィードバックとフィードフォワードネットワークへの状態フィードバックを分離する。 構造化されたアプローチは計算の複雑さを減らし、強化学習ベースのコントローラに1つのニューラルネットワークを使用する場合と比較して理解可能な構造を与える。 シミュレーションで示されるように、提案された構造はトレーニングが大幅に速くなるという付加的かつ主要な利点を持っている。 フィードフォワード構造を含む2つの方法が提示され、1つは状態フィードバック制御と古典フィードフォワード制御とが関連している。 後者の手法では、測定された外乱のみを処理する別個のリカレントニューラルネットワークにより、さらなる構造を導入する。 非線形カスケード2重タンクプロセスにおけるシミュレーションにより評価すると, 最大構造を有する手法が最も優れ, フィードフォワード外乱排除効果も良好である。

関連論文リスト

• Verification of Neural Network Control Systems in Continuous Time [1.5695847325697108]
  本研究では,連続的なニューラルネットワーク制御系に対する最初の検証手法を開発した。 ニューラルネットワークコントローラをモデル化するための抽象化レベルを追加することで、これを実現する。 視覚に基づく自律型飛行機タクシーシステムに適用することで,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-31T19:39:48Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• On the role of feedback in visual processing: a predictive coding perspective [0.6193838300896449]
  我々は、フィードフォワード視覚処理のモデルとして深層畳み込みネットワーク(CNN)を検討し、予測符号化(PC)ダイナミクスを実装した。 ノイズレベルが増加するにつれて、ネットワークはますますトップダウンの予測に依存している。 さらに,PCダイナミクスを実装するネットワークの精度は,等価なフォワードネットワークに比べて時間経過とともに著しく向上する。
  論文  参考訳（メタデータ） (2021-06-08T10:07:23Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning [0.0]
  本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。 繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。 シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
  論文  参考訳（メタデータ） (2020-10-20T18:55:32Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• Lifted Regression/Reconstruction Networks [17.89437720094451]
  本稿では,リフレクション/リコンストラクションネットワーク(LRRN)を提案する。 LRRNは、昇降ニューラルネットワークと出力層に対する保証されたリプシッツ連続性特性を結合する。 教師なし・教師なし学習への応用を解析・数値的に実証する。
  論文  参考訳（メタデータ） (2020-05-07T13:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。