論文の概要: A Meta-Reinforcement Learning Approach to Process Control

• arxiv url: http://arxiv.org/abs/2103.14060v1
• Date: Thu, 25 Mar 2021 18:20:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 12:38:43.789704
• Title: A Meta-Reinforcement Learning Approach to Process Control
• Title（参考訳）: プロセス制御のためのメタ強化学習アプローチ
• Authors: Daniel G. McClement, Nathan P. Lawrence, Philip D. Loewen, Michael G. Forbes, Johan U. Backstr\"om, R. Bhushan Gopaluni
• Abstract要約: メタラーニングは、ニューラルネットワークなどのモデルを迅速に適応させ、新しいタスクを実行することを目的としています。 制御器を構築し,別の埋め込みニューラルネットワークを用いて潜在コンテキスト変数を用いて制御器をメタトレーニングする。 どちらの場合も、メタラーニングアルゴリズムは新しいタスクに非常に迅速に適応し、ゼロから訓練された通常のDRLコントローラよりも優れています。
• 参考スコア（独自算出の注目度）: 3.9146761527401424
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Meta-learning is a branch of machine learning which aims to quickly adapt models, such as neural networks, to perform new tasks by learning an underlying structure across related tasks. In essence, models are being trained to learn new tasks effectively rather than master a single task. Meta-learning is appealing for process control applications because the perturbations to a process required to train an AI controller can be costly and unsafe. Additionally, the dynamics and control objectives are similar across many different processes, so it is feasible to create a generalizable controller through meta-learning capable of quickly adapting to different systems. In this work, we construct a deep reinforcement learning (DRL) based controller and meta-train the controller using a latent context variable through a separate embedding neural network. We test our meta-algorithm on its ability to adapt to new process dynamics as well as different control objectives on the same process. In both cases, our meta-learning algorithm adapts very quickly to new tasks, outperforming a regular DRL controller trained from scratch. Meta-learning appears to be a promising approach for constructing more intelligent and sample-efficient controllers.
• Abstract（参考訳）: メタラーニング(Meta-learning)は、ニューラルネットワークなどのモデルに迅速に適応して、関連するタスク間の基盤構造を学習することで、新しいタスクを実行することを目的とした機械学習の分野である。 本質的に、モデルは単一のタスクをマスターするのではなく、新しいタスクを効果的に学習するように訓練されています。 メタラーニングは、AIコントローラのトレーニングに必要なプロセスに対する摂動は、コストが高く、安全ではないため、プロセス制御アプリケーションにアピールする。 さらに、ダイナミクスと制御の目的は多くの異なるプロセスで類似しているため、メタラーニングによって様々なシステムに迅速に適応できる一般化可能なコントローラを作成することが可能である。 本研究では,drl(deep reinforcement learning)ベースのコントローラを構築し,ニューラルネットワークを分離した潜在コンテキスト変数を用いてコントローラをメタトレーニングする。 我々は、新しいプロセスのダイナミクスに適応する能力と、同じプロセス上の異なる制御目標について、メタアルゴリズムをテストする。 どちらの場合も、私たちのメタ学習アルゴリズムは新しいタスクに非常に早く適応し、スクラッチから訓練された通常のDRLコントローラよりも優れています。 メタラーニングは、よりインテリジェントでサンプル効率の良いコントローラを構築するための有望なアプローチのようだ。

関連論文リスト

• ConML: A Universal Meta-Learning Framework with Task-Level Contrastive Learning [49.447777286862994]
  ConMLは、さまざまなメタ学習アルゴリズムに適用可能な、普遍的なメタ学習フレームワークである。 我々は、ConMLが最適化ベース、メートル法ベース、およびアモータイズベースメタ学習アルゴリズムとシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-10-08T12:22:10Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Meta-Reinforcement Learning for Adaptive Control of Second Order Systems [3.131740922192114]
  プロセス制御では、多くのシステムは類似しており、よく理解されているダイナミクスを持ち、メタ学習を通じて一般化可能なコントローラを作成することは可能であることを示唆している。 本稿では,メタ強化学習(meta-RL)制御戦略を定式化し,モデル構造などのトレーニングにおいて,既知のオフライン情報を活用する。 重要な設計要素は、トレーニング中にモデルベースの情報をオフラインで利用し、新しい環境と対話するためのモデルフリーのポリシー構造を維持することである。
  論文  参考訳（メタデータ） (2022-09-19T18:51:33Z)
• Meta-Learning Online Control for Linear Dynamical Systems [2.867517731896504]
  制御設定のためのメタラーニングオンライン制御アルゴリズムを提案する。 タスク間の平均的な累積的後悔であるtextitmeta-regret によってそのパフォーマンスを特徴づける。 提案手法は,タスク数が十分に大きい場合,独立学習型オンライン制御アルゴリズムに比べて,D/D*$の小さいメタレグレットを実現する。
  論文  参考訳（メタデータ） (2022-08-18T20:44:07Z)
• Meta Reinforcement Learning with Successor Feature Based Context [51.35452583759734]
  本稿では,既存のメタRLアルゴリズムと競合する性能を実現するメタRL手法を提案する。 本手法は,複数のタスクに対して同時に高品質なポリシーを学習するだけでなく,短時間のトレーニングで新しいタスクに迅速に適応できる。
  論文  参考訳（メタデータ） (2022-07-29T14:52:47Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Complex Locomotion Skill Learning via Differentiable Physics [30.868690308658174]
  微分物理学は、ニューラルネットワーク(NN)コントローラの効率的な最適化を可能にする。 本稿では,複雑度と多様性を著しく向上したタスクが可能な統一NNコントローラを出力する実践的学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-06T04:01:12Z)
• Meta Reinforcement Learning for Adaptive Control: An Offline Approach [3.131740922192114]
  トレーニングにおいて、既知のオフライン情報を活用するメタ強化学習(meta-RL)制御戦略を定式化する。 我々のメタRLエージェントはリカレントな構造を持ち、隠された状態変数を通して現在のダイナミックスに対して"コンテキスト"を蓄積します。 ここで報告されたテストでは、メタRLエージェントは完全にオフラインで訓練されたが、新しい設定で優れた結果が得られた。
  論文  参考訳（メタデータ） (2022-03-17T23:58:52Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• Learning Multi-Objective Curricula for Deep Reinforcement Learning [55.27879754113767]
  深部強化学習(DRL)のサンプル効率と最終性能を向上させるために,各種自動カリキュラム学習(ACL)手法が提案されている。 本稿では,多目的だがコヒーレントなカリキュラムを作成するための統合された自動カリキュラム学習フレームワークを提案する。 既存の手設計のカリキュラムパラダイムに加えて,抽象カリキュラムを学習するためのフレキシブルなメモリ機構を設計する。
  論文  参考訳（メタデータ） (2021-10-06T19:30:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。