論文の概要: On the Global Optimality of Model-Agnostic Meta-Learning
- arxiv url: http://arxiv.org/abs/2006.13182v1
- Date: Tue, 23 Jun 2020 17:33:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 22:16:48.825410
- Title: On the Global Optimality of Model-Agnostic Meta-Learning
- Title（参考訳）: モデル非依存型メタラーニングのグローバル最適性について
- Authors: Lingxiao Wang, Qi Cai, Zhuoran Yang, Zhaoran Wang
- Abstract要約: モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。
学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
- 参考スコア（独自算出の注目度）: 133.16370011229776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model-agnostic meta-learning (MAML) formulates meta-learning as a bilevel
optimization problem, where the inner level solves each subtask based on a
shared prior, while the outer level searches for the optimal shared prior by
optimizing its aggregated performance over all the subtasks. Despite its
empirical success, MAML remains less understood in theory, especially in terms
of its global optimality, due to the nonconvexity of the meta-objective (the
outer-level objective). To bridge such a gap between theory and practice, we
characterize the optimality gap of the stationary points attained by MAML for
both reinforcement learning and supervised learning, where the inner-level and
outer-level problems are solved via first-order optimization methods. In
particular, our characterization connects the optimality gap of such stationary
points with (i) the functional geometry of inner-level objectives and (ii) the
representation power of function approximators, including linear models and
neural networks. To the best of our knowledge, our analysis establishes the
global optimality of MAML with nonconvex meta-objectives for the first time.
- Abstract（参考訳）: モデル非依存メタラーニング(maml)は、メタラーニングを二段階最適化問題として定式化し、内部レベルは共有前処理に基づいて各サブタスクを解き、外側レベルはすべてのサブタスクで集約されたパフォーマンスを最適化することで最適な共有前処理を探索する。
経験的成功にもかかわらず、MAMLは理論上、特にメタ対象の非凸性(外部目標)のため、その大域的最適性の観点からは理解されていない。
このような理論と実践のギャップを埋めるために,MAMLが達成した強化学習と教師あり学習の両面での定常点の最適性ギャップを特徴付ける。
特に、我々の特徴付けは、そのような定常点の最適性ギャップと接続する。
(i)内層目標の機能幾何学、及び
(ii)線形モデルやニューラルネットワークを含む近似関数の表現力。
我々の知識を最大限に活用するために、我々はMAMLの非凸メタオブジェクトによるグローバルな最適性を初めて確立した。
関連論文リスト
- A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。
これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。
我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
論文 参考訳（メタデータ） (2024-10-14T12:10:06Z) - Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator [9.900800253949512]
本稿では,メタRL(BO-MRL)の2段階最適化フレームワークを開発し,タスク固有のポリシー適応のためのメタプライヤを学習する。
提案手法の精度を実証的に検証し,提案アルゴリズムがベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-13T05:17:58Z) - Deterministic Langevin Unconstrained Optimization with Normalizing Flows [3.988614978933934]
我々は,Fokker-Planck方程式とLangevin方程式にインスパイアされたブラックボックス関数に対するグローバルで自由な代理最適化戦略を導入する。
本研究は,標準合成試験関数の最適目的に向けての競争力の向上を実証する。
論文 参考訳（メタデータ） (2023-10-01T17:46:20Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - Multi-Objective Meta Learning [2.9932638148627104]
統合グラデーションベースのマルチ目的メタラーニング(MOML)フレームワークを提案する。
提案されたMOMLフレームワークの有効性をいくつかのメタラーニング問題で示す。
論文 参考訳（メタデータ） (2021-02-14T10:23:09Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - Modeling and Optimization Trade-off in Meta-learning [23.381986209234164]
メタラーニングにおいて、正確なモデリングと容易さのトレードオフを導入し、厳密に定義する。
我々はMAMLを代表的メタラーニングアルゴリズムとして、一般的な非リスク関数と線形回帰のトレードオフを理論的に特徴づける。
また,メタ強化学習ベンチマークのトレードオフを実証的に解決する。
論文 参考訳（メタデータ） (2020-10-24T15:32:08Z) - Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。
特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
論文 参考訳（メタデータ） (2020-02-18T19:17:54Z) - PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。
我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文 参考訳（メタデータ） (2020-02-13T15:01:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。