論文の概要: Meta Learning MPC using Finite-Dimensional Gaussian Process
Approximations
- arxiv url: http://arxiv.org/abs/2008.05984v1
- Date: Thu, 13 Aug 2020 15:59:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 00:06:19.473893
- Title: Meta Learning MPC using Finite-Dimensional Gaussian Process
Approximations
- Title(参考訳): 有限次元ガウス過程近似を用いたメタ学習mpc
- Authors: Elena Arcari, Andrea Carron, Melanie N. Zeilinger
- Abstract要約: 制御における学習手法の実践的適用性を阻害する2つの重要な要因は、その計算複雑性と、目に見えない条件に対する限定的な一般化能力である。
本稿では,従来のタスクからのデータを活用するシステムモデルを学習することにより,適応型モデル予測制御のためのメタラーニング手法を提案する。
- 参考スコア(独自算出の注目度): 0.9539495585692008
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data availability has dramatically increased in recent years, driving
model-based control methods to exploit learning techniques for improving the
system description, and thus control performance. Two key factors that hinder
the practical applicability of learning methods in control are their high
computational complexity and limited generalization capabilities to unseen
conditions. Meta-learning is a powerful tool that enables efficient learning
across a finite set of related tasks, easing adaptation to new unseen tasks.
This paper makes use of a meta-learning approach for adaptive model predictive
control, by learning a system model that leverages data from previous related
tasks, while enabling fast fine-tuning to the current task during closed-loop
operation. The dynamics is modeled via Gaussian process regression and,
building on the Karhunen-Lo{\`e}ve expansion, can be approximately reformulated
as a finite linear combination of kernel eigenfunctions. Using data collected
over a set of tasks, the eigenfunction hyperparameters are optimized in a
meta-training phase by maximizing a variational bound for the log-marginal
likelihood. During meta-testing, the eigenfunctions are fixed, so that only the
linear parameters are adapted to the new unseen task in an online adaptive
fashion via Bayesian linear regression, providing a simple and efficient
inference scheme. Simulation results are provided for autonomous racing with
miniature race cars adapting to unseen road conditions.
- Abstract(参考訳): 近年、データの可用性が劇的に向上し、モデルベースの制御手法が学習技術を利用してシステム記述を改善し、性能を制御するようになった。
制御における学習方法の実用的適用を妨げている2つの重要な要因は、高い計算複雑性と認識できない条件への一般化能力である。
メタラーニングは、関連するタスクの有限セットにわたる効率的な学習を可能にする強力なツールである。
本稿では,先行するタスクからのデータを活用するシステムモデルを学習し,クローズドループ動作時の現在のタスクへの高速微調整を可能にすることで,適応モデル予測制御のためのメタラーニング手法を提案する。
力学はガウス過程の回帰を通じてモデル化され、カルフネン-Lo{\`e}ve展開に基づいて、カーネル固有関数の有限線型結合として概ね再構成することができる。
一連のタスクで収集されたデータを用いて、固有関数ハイパーパラメータは、対数確率の変動境界を最大化することにより、メタトレーニングフェーズで最適化される。
メタテストの間、固有関数は固定され、線形パラメータのみがベイズ線形回帰を通じてオンライン適応的な新しい未確認タスクに適応し、単純で効率的な推論スキームを提供する。
道路条件に適応したミニチュアレースカーによる自律走行をシミュレーションした。
関連論文リスト
- MOTO: Offline Pre-training to Online Fine-tuning for Model-based Robot
Learning [52.101643259906915]
本研究では,高次元観測による強化学習におけるオフライン事前学習とオンラインファインチューニングの問題について検討する。
既存のモデルベースオフラインRL法は高次元領域におけるオフラインからオンラインへの微調整には適していない。
本稿では,事前データをモデルベース値拡張とポリシー正則化によって効率的に再利用できるオンラインモデルベース手法を提案する。
論文 参考訳(メタデータ) (2024-01-06T21:04:31Z) - Data-Efficient Task Generalization via Probabilistic Model-based Meta
Reinforcement Learning [58.575939354953526]
PACOH-RLはメタ強化学習(Meta-RL)アルゴリズムである。
既存のMeta-RLメソッドは豊富なメタ学習データを必要とし、ロボット工学などの設定で適用性を制限する。
実験の結果,PACOH-RLはモデルベースRLおよびモデルベースMeta-RLベースラインよりも高い性能を示し,新しい動的条件に適応することがわかった。
論文 参考訳(メタデータ) (2023-11-13T18:51:57Z) - How Many Pretraining Tasks Are Needed for In-Context Learning of Linear
Regression? [98.44739214880573]
様々なタスクで事前訓練されたトランスフォーマーは、顕著なインコンテキスト学習(ICL)能力を示す。
線形回帰のための線形パラメータ化単一層線形アテンションモデルの事前学習を行う。
論文 参考訳(メタデータ) (2023-10-12T15:01:43Z) - Meta-Reinforcement Learning for Adaptive Control of Second Order Systems [3.131740922192114]
プロセス制御では、多くのシステムは類似しており、よく理解されているダイナミクスを持ち、メタ学習を通じて一般化可能なコントローラを作成することは可能であることを示唆している。
本稿では,メタ強化学習(meta-RL)制御戦略を定式化し,モデル構造などのトレーニングにおいて,既知のオフライン情報を活用する。
重要な設計要素は、トレーニング中にモデルベースの情報をオフラインで利用し、新しい環境と対話するためのモデルフリーのポリシー構造を維持することである。
論文 参考訳(メタデータ) (2022-09-19T18:51:33Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - Double Meta-Learning for Data Efficient Policy Optimization in
Non-Stationary Environments [12.45281856559346]
我々は、マルチタスク学習問題とみなすことができる非定常環境の学習モデルに興味を持っている。
モデルなし強化学習アルゴリズムは、広範囲なサンプリングを犠牲にしてマルチタスク学習において優れた性能を達成することができる。
モデルベースのアプローチは最もデータ効率のよい学習アルゴリズムの1つだが、それでも複雑なタスクやモデルの不確実性に苦慮している。
論文 参考訳(メタデータ) (2020-11-21T03:19:35Z) - A Variational Infinite Mixture for Probabilistic Inverse Dynamics
Learning [34.90240171916858]
確率的局所モデルの無限混合に対する効率的な変分ベイズ推論手法を開発した。
我々は、データ駆動適応、高速予測、不連続関数とヘテロセダスティックノイズに対処する能力の組み合わせにおけるモデルのパワーを強調した。
学習したモデルを用いてBarrett-WAMマニピュレータのオンライン動的制御を行い、軌道追跡性能を大幅に改善した。
論文 参考訳(メタデータ) (2020-11-10T16:15:13Z) - Active Learning for Gaussian Process Considering Uncertainties with
Application to Shape Control of Composite Fuselage [7.358477502214471]
ガウス過程に不確実性のある2つの新しい能動学習アルゴリズムを提案する。
提案手法は不確実性の影響を取り入れ,予測性能の向上を実現する。
本手法は, 複合胴体の自動形状制御における予測モデルの改善に応用されている。
論文 参考訳(メタデータ) (2020-04-23T02:04:53Z) - Tracking Performance of Online Stochastic Learners [57.14673504239551]
オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。
一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。
定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
論文 参考訳(メタデータ) (2020-04-04T14:16:27Z) - Logarithmic Regret Bound in Partially Observable Linear Dynamical
Systems [91.43582419264763]
部分的に観測可能な線形力学系におけるシステム同定と適応制御の問題について検討する。
開ループ系と閉ループ系の両方において有限時間保証付きの最初のモデル推定法を提案する。
AdaptOnは、未知の部分観測可能な線形力学系の適応制御において、$textpolylogleft(Tright)$ regretを達成する最初のアルゴリズムであることを示す。
論文 参考訳(メタデータ) (2020-03-25T06:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。