論文の概要: Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta Learning, Provably?

• arxiv url: http://arxiv.org/abs/2203.03059v1
• Date: Sun, 6 Mar 2022 21:38:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 15:27:15.540384
• Title: Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta Learning, Provably?
• Title（参考訳）: ベイズモデル非依存メタ学習はモデル非依存メタ学習より優れているか?
• Authors: Lisha Chen, Tianyi Chen
• Abstract要約: モデル非依存型メタラーニング(MAML)とベイジアンMAMLのメタテストリスクを比較した。 分布非依存および線状セントロイド症例の両方において,ベイジアンMAMLは,MAMLよりも明らかにメタテストリスクが低いことが確認された。
• 参考スコア（独自算出の注目度）: 25.00480072097939
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta learning aims at learning a model that can quickly adapt to unseen tasks. Widely used meta learning methods include model agnostic meta learning (MAML), implicit MAML, Bayesian MAML. Thanks to its ability of modeling uncertainty, Bayesian MAML often has advantageous empirical performance. However, the theoretical understanding of Bayesian MAML is still limited, especially on questions such as if and when Bayesian MAML has provably better performance than MAML. In this paper, we aim to provide theoretical justifications for Bayesian MAML's advantageous performance by comparing the meta test risks of MAML and Bayesian MAML. In the meta linear regression, under both the distribution agnostic and linear centroid cases, we have established that Bayesian MAML indeed has provably lower meta test risks than MAML. We verify our theoretical results through experiments.
• Abstract（参考訳）: メタ学習は、目に見えないタスクに素早く適応できるモデルを学ぶことを目的としている。 広く使われているメタラーニングには、モデル非依存メタラーニング(MAML)、暗黙のMAML、ベイズ的MAMLなどがある。 不確実性をモデル化する能力のおかげで、ベイジアンMAMLはしばしば有利な経験的性能を持つ。 しかし、ベイジアンMAMLの理論的理解は依然として限られており、特にベイジアンMAMLがMAMLよりも有意に優れた性能を示したのかどうかといった疑問に焦点が当てられている。 本稿では, ベイジアンMAML とベイジアンMAML のメタテストリスクを比較することで, ベイジアンMAML の優位性を理論的に正当化することを目的とする。 メタリニア回帰では,分布非依存型と線形セントロイド型の両方の場合において,ベイジアンMAMLがMAMLよりも有意に低いメタテストリスクがあることが確認された。 実験を通じて理論結果を検証します。

関連論文リスト

• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Sharp-MAML: Sharpness-Aware Model-Agnostic Meta Learning [71.26635165491105]
  我々はシャープ・MAMLと呼ぶシャープネスを意識したMAMLアプローチを開発した。 Sharp-MAMLとその計算効率が,既存のMAMLベースラインより優れていることを実証的に実証した。 これは、二段階学習の文脈において、シャープネスを意識した最小化に関する最初の経験的および理論的研究である。
  論文  参考訳（メタデータ） (2022-06-08T16:20:11Z)
• Sign-MAML: Efficient Model-Agnostic Meta-Learning by SignSGD [16.417263188143313]
  モデルに依存しないメタラーニング(MAML)のための新しい計算効率の高い1次アルゴリズムを提案する。 我々は,SGDを指向したBLOのレンズを用いてMAMLが,学習したメタモデルの1次勾配のみを必要とする交互最適化スキームを自然に生成することを示す。 実際に,Sign-MAMLがFO-MAMLより優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-15T18:01:55Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• Meta Learning in the Continuous Time Limit [36.23467808322093]
  モデルAメタラーニング(MAML)の学習力学の基礎となる常微分方程式(ODE)を確立する。 本稿では,既存のMAMLトレーニング手法に関連する計算負担を大幅に軽減するBI-MAMLトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-19T01:47:31Z)
• When does MAML Work the Best? An Empirical Study on Model-Agnostic Meta-Learning in NLP Applications [26.458825286934857]
  データ量、タスク間の類似性、一般的な言語モデルとタスク固有の適応のバランスなど、多くの影響要因が、NLPにおけるMAMLの性能に影響を与える可能性がある。 本稿では,これらの影響要因を調査し,MAMLが最適に機能するかどうかを実験的に検討する。
  論文  参考訳（メタデータ） (2020-05-24T09:29:36Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。