論文の概要: Meta Reinforcement Learning for Adaptive Control: An Offline Approach
- arxiv url: http://arxiv.org/abs/2203.09661v1
- Date: Thu, 17 Mar 2022 23:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-22 05:38:02.639484
- Title: Meta Reinforcement Learning for Adaptive Control: An Offline Approach
- Title（参考訳）: 適応制御のためのメタ強化学習:オフラインアプローチ
- Authors: Daniel G. McClement, Nathan P. Lawrence, Johan U. Backstrom, Philip D.
Loewen, Michael G. Forbes, R. Bhushan Gopaluni
- Abstract要約: トレーニングにおいて、既知のオフライン情報を活用するメタ強化学習(meta-RL)制御戦略を定式化する。
我々のメタRLエージェントはリカレントな構造を持ち、隠された状態変数を通して現在のダイナミックスに対して"コンテキスト"を蓄積します。
ここで報告されたテストでは、メタRLエージェントは完全にオフラインで訓練されたが、新しい設定で優れた結果が得られた。
- 参考スコア（独自算出の注目度）: 3.131740922192114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Meta-learning is a branch of machine learning which trains neural network
models to synthesize a wide variety of data in order to rapidly solve new
problems. In process control, many systems have similar and well-understood
dynamics, which suggests it is feasible to create a generalizable controller
through meta-learning. In this work, we formulate a meta reinforcement learning
(meta-RL) control strategy that takes advantage of known, offline information
for training, such as the system gain or time constant, yet efficiently
controls novel systems in a completely model-free fashion. Our meta-RL agent
has a recurrent structure that accumulates "context" for its current dynamics
through a hidden state variable. This end-to-end architecture enables the agent
to automatically adapt to changes in the process dynamics. Moreover, the same
agent can be deployed on systems with previously unseen nonlinearities and
timescales. In tests reported here, the meta-RL agent was trained entirely
offline, yet produced excellent results in novel settings. A key design element
is the ability to leverage model-based information offline during training,
while maintaining a model-free policy structure for interacting with novel
environments. To illustrate the approach, we take the actions proposed by the
meta-RL agent to be changes to gains of a proportional-integral controller,
resulting in a generalized, adaptive, closed-loop tuning strategy.
Meta-learning is a promising approach for constructing sample-efficient
intelligent controllers.
- Abstract（参考訳）: メタラーニング(meta-learning)は、ニューラルネットワークモデルを訓練し、新しい問題を解決するためにさまざまなデータを合成する機械学習の分野である。
プロセス制御では、多くのシステムは類似しており、よく理解されているダイナミクスを持ち、メタ学習を通じて一般化可能なコントローラを作成することは可能であることを示唆している。
本研究では,システムゲインや時間定数などのトレーニングにおいて,既知のオフライン情報を活用するメタ強化学習(meta-RL)制御戦略を定式化し,新しいシステムを完全にモデルフリーで効率的に制御する。
当社のmeta-rlエージェントは、隠れた状態変数を通じて現在のダイナミクスに"context"を蓄積するリカレント構造を持っています。
このエンドツーエンドアーキテクチャにより、エージェントはプロセスのダイナミクスの変化に自動的に適応できる。
さらに、前例のない非線形性と時間スケールを持つシステムに同じエージェントをデプロイすることができる。
ここで報告されたテストでは、メタRLエージェントは完全にオフラインで訓練されたが、新しい設定で優れた結果が得られた。
重要な設計要素は、新しい環境と対話するためのモデルフリーのポリシー構造を維持しながら、トレーニング中にオフラインでモデルベースの情報を活用する能力である。
このアプローチを説明するために,メタRLエージェントが提案する動作を比例積分制御器の利得に変化させることで,一般化された適応型閉ループチューニング戦略を実現する。
メタラーニングはサンプル効率の良いインテリジェントコントローラを構築するための有望なアプローチである。
関連論文リスト
- Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。
提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。
ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
論文 参考訳（メタデータ） (2024-09-12T11:50:06Z) - Data-Efficient Task Generalization via Probabilistic Model-based Meta
Reinforcement Learning [58.575939354953526]
PACOH-RLはメタ強化学習(Meta-RL)アルゴリズムである。
既存のMeta-RLメソッドは豊富なメタ学習データを必要とし、ロボット工学などの設定で適用性を制限する。
実験の結果,PACOH-RLはモデルベースRLおよびモデルベースMeta-RLベースラインよりも高い性能を示し,新しい動的条件に適応することがわかった。
論文 参考訳（メタデータ） (2023-11-13T18:51:57Z) - Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-10-18T06:07:10Z) - Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。
主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。
本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
論文 参考訳（メタデータ） (2023-06-06T02:24:41Z) - A Unified Framework for Alternating Offline Model Training and Policy
Learning [62.19209005400561]
オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。
提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。
提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
論文 参考訳（メタデータ） (2022-10-12T04:58:51Z) - Meta-Reinforcement Learning for Adaptive Control of Second Order Systems [3.131740922192114]
プロセス制御では、多くのシステムは類似しており、よく理解されているダイナミクスを持ち、メタ学習を通じて一般化可能なコントローラを作成することは可能であることを示唆している。
本稿では,メタ強化学習(meta-RL)制御戦略を定式化し,モデル構造などのトレーニングにおいて,既知のオフライン情報を活用する。
重要な設計要素は、トレーニング中にモデルベースの情報をオフラインで利用し、新しい環境と対話するためのモデルフリーのポリシー構造を維持することである。
論文 参考訳（メタデータ） (2022-09-19T18:51:33Z) - A Meta-Reinforcement Learning Approach to Process Control [3.9146761527401424]
メタラーニングは、ニューラルネットワークなどのモデルを迅速に適応させ、新しいタスクを実行することを目的としています。
制御器を構築し,別の埋め込みニューラルネットワークを用いて潜在コンテキスト変数を用いて制御器をメタトレーニングする。
どちらの場合も、メタラーニングアルゴリズムは新しいタスクに非常に迅速に適応し、ゼロから訓練された通常のDRLコントローラよりも優れています。
論文 参考訳（メタデータ） (2021-03-25T18:20:56Z) - Meta Learning MPC using Finite-Dimensional Gaussian Process
Approximations [0.9539495585692008]
制御における学習手法の実践的適用性を阻害する2つの重要な要因は、その計算複雑性と、目に見えない条件に対する限定的な一般化能力である。
本稿では,従来のタスクからのデータを活用するシステムモデルを学習することにより,適応型モデル予測制御のためのメタラーニング手法を提案する。
論文 参考訳（メタデータ） (2020-08-13T15:59:38Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。