論文の概要: Convergence of Gradient-based MAML in LQR
- arxiv url: http://arxiv.org/abs/2309.06588v2
- Date: Fri, 15 Sep 2023 17:22:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 17:27:36.599989
- Title: Convergence of Gradient-based MAML in LQR
- Title(参考訳): LQRにおける勾配型MAMLの収束性
- Authors: Negin Musavi and Geir E. Dullerud
- Abstract要約: 本研究の目的は,システム2次最適 (LQR) に適用した場合のMAML (Modelagnostic Meta-learning) の局所収束特性を検討することである。
この研究は、LQRにおけるMAMLの収束を示すための単純な数値結果も提示する。
- 参考スコア(独自算出の注目度): 1.2328446298523066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The main objective of this research paper is to investigate the local
convergence characteristics of Model-agnostic Meta-learning (MAML) when applied
to linear system quadratic optimal control (LQR). MAML and its variations have
become popular techniques for quickly adapting to new tasks by leveraging
previous learning knowledge in areas like regression, classification, and
reinforcement learning. However, its theoretical guarantees remain unknown due
to non-convexity and its structure, making it even more challenging to ensure
stability in the dynamic system setting. This study focuses on exploring MAML
in the LQR setting, providing its local convergence guarantees while
maintaining the stability of the dynamical system. The paper also presents
simple numerical results to demonstrate the convergence properties of MAML in
LQR tasks.
- Abstract(参考訳): 本研究の目的は,線形系2次最適制御(lqr)に適用されるモデル非依存メタラーニング(maml)の局所収束特性を検討することである。
MAMLとそのバリエーションは、回帰、分類、強化学習といった分野における過去の学習知識を活用することで、新しいタスクに迅速に適応するための一般的な技術となっている。
しかし、その理論的保証は非凸性と構造のため未知のままであり、動的システム設定における安定性の確保がさらに困難である。
本研究は, 動的システムの安定性を維持しつつ, 局所収束保証を提供するLQR設定におけるMAMLの探索に焦点を当てた。
また,LQRタスクにおけるMAMLの収束特性を示すため,単純な数値計算結果も提示する。
関連論文リスト
- Provable Risk-Sensitive Distributional Reinforcement Learning with
General Function Approximation [54.61816424792866]
本稿では,リスク感性分布強化学習(RS-DisRL)と静的リプシッツリスク対策(LRM),一般関数近似について紹介する。
モデルに基づく関数近似のためのモデルベース戦略であるtextttRS-DisRL-M と、一般値関数近似のためのモデルフリーアプローチである textttRS-DisRL-V の2つの革新的なメタアルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-02-28T08:43:18Z) - Meta-Learning Linear Quadratic Regulators: A Policy Gradient MAML
Approach for the Model-free LQR [4.787550557970832]
線形二次レギュレータ(LQR)問題に対する政策グラディエントベース(PG)モデル非依存メタラーニング(MAML)アプローチの安定性とパーソナライズ保証を特徴付ける。
我々は,MAML-LQRアプローチにより,各タスク固有の最適制御系に近い安定化制御系が生成され,モデルベースとモデルフリーの両方でタスク不均一性バイアスが生じることを示す。
論文 参考訳(メタデータ) (2024-01-25T21:59:52Z) - Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field
and Online Inference [50.91823345296243]
我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。
EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。
得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
論文 参考訳(メタデータ) (2023-12-10T15:22:30Z) - QFree: A Universal Value Function Factorization for Multi-Agent
Reinforcement Learning [2.287186762346021]
マルチエージェント強化学習のための共通値関数分解法QFreeを提案する。
汎用複雑なMARLベンチマーク環境において,QFreeが最先端性能を実現することを示す。
論文 参考訳(メタデータ) (2023-11-01T08:07:16Z) - Efficient Model-based Multi-agent Reinforcement Learning via Optimistic
Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。
自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文 参考訳(メタデータ) (2022-03-14T17:24:03Z) - Multi-Agent Reinforcement Learning via Adaptive Kalman Temporal
Difference and Successor Representation [32.80370188601152]
本稿では,マルチエージェント適応カルマン時間差分(MAK-TD)フレームワークとその継承表現に基づく変種(MAK-SR)を提案する。
提案するMAK-TD/SRフレームワークは,高次元マルチエージェント環境に関連付けられたアクション空間の連続的な性質を考察する。
論文 参考訳(メタデータ) (2021-12-30T18:21:53Z) - MAML is a Noisy Contrastive Learner [72.04430033118426]
モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。
我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。
このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T12:52:26Z) - Performance-Weighed Policy Sampling for Meta-Reinforcement Learning [1.77898701462905]
強化モデル非依存メタラーニング(E-MAML)は、少数のトレーニング例からポリシー関数の高速収束を生成する。
E-MAMLは、以前のタスクの環境で学んだ一連のポリシーパラメータを保持する。
E-MAMLを強化学習(RL)ベースのオンラインフォールトトレラント制御スキームの開発に適用する。
論文 参考訳(メタデータ) (2020-12-10T23:08:38Z) - Learning the Linear Quadratic Regulator from Nonlinear Observations [135.66883119468707]
我々は、LQR with Rich Observations(RichLQR)と呼ばれる連続制御のための新しい問題設定を導入する。
本設定では, 線形力学と二次的コストを有する低次元連続潜伏状態によって環境を要約する。
本結果は,システムモデルと一般関数近似における未知の非線形性を持つ連続制御のための,最初の証明可能なサンプル複雑性保証である。
論文 参考訳(メタデータ) (2020-10-08T07:02:47Z) - Learning to Learn Kernels with Variational Random Features [118.09565227041844]
メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。
変分推論問題としてメタVRFの最適化を定式化する。
MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
論文 参考訳(メタデータ) (2020-06-11T18:05:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。