論文の概要: Meta-Learning Online Control for Linear Dynamical Systems

• arxiv url: http://arxiv.org/abs/2208.10259v1
• Date: Thu, 18 Aug 2022 20:44:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 14:46:28.404667
• Title: Meta-Learning Online Control for Linear Dynamical Systems
• Title（参考訳）: 線形力学系のメタラーニングオンライン制御
• Authors: Deepan Muthirayan, Dileep Kalathil, and Pramod P. Khargonekar
• Abstract要約: 制御設定のためのメタラーニングオンライン制御アルゴリズムを提案する。 タスク間の平均的な累積的後悔であるtextitmeta-regret によってそのパフォーマンスを特徴づける。 提案手法は,タスク数が十分に大きい場合,独立学習型オンライン制御アルゴリズムに比べて,D/D*$の小さいメタレグレットを実現する。
• 参考スコア（独自算出の注目度）: 2.867517731896504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider the problem of finding a meta-learning online control algorithm that can learn across the tasks when faced with a sequence of $N$ (similar) control tasks. Each task involves controlling a linear dynamical system for a finite horizon of $T$ time steps. The cost function and system noise at each time step are adversarial and unknown to the controller before taking the control action. Meta-learning is a broad approach where the goal is to prescribe an online policy for any new unseen task exploiting the information from other tasks and the similarity between the tasks. We propose a meta-learning online control algorithm for the control setting and characterize its performance by \textit{meta-regret}, the average cumulative regret across the tasks. We show that when the number of tasks are sufficiently large, our proposed approach achieves a meta-regret that is smaller by a factor $D/D^{*}$ compared to an independent-learning online control algorithm which does not perform learning across the tasks, where $D$ is a problem constant and $D^{*}$ is a scalar that decreases with increase in the similarity between tasks. Thus, when the sequence of tasks are similar the regret of the proposed meta-learning online control is significantly lower than that of the naive approaches without meta-learning. We also present experiment results to demonstrate the superior performance achieved by our meta-learning algorithm.
• Abstract（参考訳）: 本稿では,n$ (類似) 制御タスクのシーケンスに直面すると,タスクを横断的に学習できるメタラーニングオンライン制御アルゴリズムを探索する問題を考える。 各タスクは、時間ステップの有限地平線に対して線形力学系を制御することを含む。 各タイムステップにおけるコスト関数とシステムノイズは、制御動作を行う前にコントローラに逆らって未知である。 メタラーニング(meta-learning)は、他のタスクからの情報を活用し、タスク間の類似性を生かした、新しい未知のタスクに対してオンラインポリシーを規定する、幅広いアプローチである。 本稿では,タスク間の平均的累積後悔であるtextit{meta-regret} による制御設定と特徴付けを行うメタラーニングオンライン制御アルゴリズムを提案する。 提案手法では,タスク数が十分に大きい場合には,タスク間の類似度の増加に伴って,D$が問題定数であり,D$が課題間の類似度の増加に伴って減少するスカラーである独立学習オンライン制御アルゴリズムと比較して,メタレグレットを$D/D^{*}$でより小さくする。 したがって、タスクのシーケンスが類似する場合、提案するメタラーニングオンライン制御の後悔は、メタラーニングを伴わないナイーブなアプローチよりも著しく低い。 また,メタラーニングアルゴリズムが達成した優れた性能を示す実験結果を示す。

関連論文リスト

• ConML: A Universal Meta-Learning Framework with Task-Level Contrastive Learning [49.447777286862994]
  ConMLは、さまざまなメタ学習アルゴリズムに適用可能な、普遍的なメタ学習フレームワークである。 我々は、ConMLが最適化ベース、メートル法ベース、およびアモータイズベースメタ学習アルゴリズムとシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-10-08T12:22:10Z)
• On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
  本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。 マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
  論文  参考訳（メタデータ） (2022-06-07T13:24:00Z)
• Skill-based Meta-Reinforcement Learning [65.31995608339962]
  本研究では,長期的スパース・リワードタスクにおけるメタラーニングを実現する手法を提案する。 私たちの中核となる考え方は、メタ学習中にオフラインデータセットから抽出された事前経験を活用することです。
  論文  参考訳（メタデータ） (2022-04-25T17:58:19Z)
• C-Planning: An Automatic Curriculum for Learning Goal-Reaching Tasks [133.40619754674066]
  ゴール条件強化学習は、ナビゲーションや操作を含む幅広い領域のタスクを解決できる。 本研究では,学習時間における探索を用いて,中間状態を自動生成する遠隔目標獲得タスクを提案する。 E-stepはグラフ検索を用いて最適な経路点列を計画することに対応し、M-stepはそれらの経路点に到達するための目標条件付きポリシーを学習することを目的としている。
  論文  参考訳（メタデータ） (2021-10-22T22:05:31Z)
• Dynamic Regret Analysis for Online Meta-Learning [0.0]
  オンラインメタ学習フレームワークは、継続的な生涯学習設定のための強力なツールとして生まれてきた。 この定式化には、メタラーナーを学ぶ外部レベルと、タスク固有のモデルを学ぶ内部レベルという2つのレベルが含まれる。 グローバルな予測から環境の変化を扱う動的な後悔という観点から、パフォーマンスを確立します。 本稿では,本分析を1つの設定で実施し,各イテレーションの総数に依存する局所的局所的後悔の対数論的証明を期待する。
  論文  参考訳（メタデータ） (2021-09-29T12:12:59Z)
• A Workflow for Offline Model-Free Robotic Reinforcement Learning [117.07743713715291]
  オフライン強化学習(RL)は、オンラインインタラクションを伴わずに、事前の経験のみを活用することによって、学習制御ポリシを可能にする。 本研究では,教師付き学習問題に対して,比較的よく理解されたオフラインRLと類似した実践的ワークフローを開発する。 オンラインチューニングを伴わない効果的なポリシー作成におけるこのワークフローの有効性を実証する。
  論文  参考訳（メタデータ） (2021-09-22T16:03:29Z)
• A Meta-Reinforcement Learning Approach to Process Control [3.9146761527401424]
  メタラーニングは、ニューラルネットワークなどのモデルを迅速に適応させ、新しいタスクを実行することを目的としています。 制御器を構築し,別の埋め込みニューラルネットワークを用いて潜在コンテキスト変数を用いて制御器をメタトレーニングする。 どちらの場合も、メタラーニングアルゴリズムは新しいタスクに非常に迅速に適応し、ゼロから訓練された通常のDRLコントローラよりも優れています。
  論文  参考訳（メタデータ） (2021-03-25T18:20:56Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。