論文の概要: Sharp-MAML: Sharpness-Aware Model-Agnostic Meta Learning

• arxiv url: http://arxiv.org/abs/2206.03996v1
• Date: Wed, 8 Jun 2022 16:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 14:09:23.000902
• Title: Sharp-MAML: Sharpness-Aware Model-Agnostic Meta Learning
• Title（参考訳）: sharp-maml:シャープネス認識モデル非依存なメタ学習
• Authors: Momin Abbas, Quan Xiao, Lisha Chen, Pin-Yu Chen, Tianyi Chen
• Abstract要約: 我々はシャープ・MAMLと呼ぶシャープネスを意識したMAMLアプローチを開発した。 Sharp-MAMLとその計算効率が,既存のMAMLベースラインより優れていることを実証的に実証した。 これは、二段階学習の文脈において、シャープネスを意識した最小化に関する最初の経験的および理論的研究である。
• 参考スコア（独自算出の注目度）: 71.26635165491105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-agnostic meta learning (MAML) is currently one of the dominating approaches for few-shot meta-learning. Albeit its effectiveness, the optimization of MAML can be challenging due to the innate bilevel problem structure. Specifically, the loss landscape of MAML is much more complex with possibly more saddle points and local minimizers than its empirical risk minimization counterpart. To address this challenge, we leverage the recently invented sharpness-aware minimization and develop a sharpness-aware MAML approach that we term Sharp-MAML. We empirically demonstrate that Sharp-MAML and its computation-efficient variant can outperform popular existing MAML baselines (e.g., $+12\%$ accuracy on Mini-Imagenet). We complement the empirical study with the convergence rate analysis and the generalization bound of Sharp-MAML. To the best of our knowledge, this is the first empirical and theoretical study on sharpness-aware minimization in the context of bilevel learning. The code is available at https://github.com/mominabbass/Sharp-MAML.
• Abstract（参考訳）: モデルに依存しないメタラーニング(MAML)は、現在、数発のメタラーニングにおいて支配的なアプローチの1つである。 有効性はあるものの,本質的な2レベル問題構造のため,mamlの最適化は困難である。 特に、mamlの損失状況は、経験的リスク最小化よりも、多分サドルポイントと局所的最小化ではるかに複雑である。 この課題に対処するために、最近発明されたシャープネス対応の最小化を活用し、シャープネス対応のMAMLアプローチを開発した。 Sharp-MAMLとその計算効率が既存のMAMLベースライン(例:Mini-Imagenetで$+12\%の精度)を上回ることを実証的に実証した。 本稿では,シャープ-MAMLの収束速度解析と一般化境界を補完する。 我々の知る限り、これは二段階学習の文脈におけるシャープネスを意識した最小化に関する最初の経験的および理論的研究である。 コードはhttps://github.com/mominabbass/Sharp-MAMLで入手できる。

関連論文リスト

• Improved Meta Learning for Low Resource Speech Recognition [15.612232220719653]
  本稿では,従来のモデルメタ学習(MAML)アプローチを改善した低リソース音声認識のためのメタ学習に基づく新しいフレームワークを提案する。 提案システムは,文字誤り率や安定した訓練行動の観点から,MAMLに基づく低リソースASRシステムよりも優れている。
  論文  参考訳（メタデータ） (2022-05-11T15:50:47Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta Learning, Provably? [25.00480072097939]
  モデル非依存型メタラーニング(MAML)とベイジアンMAMLのメタテストリスクを比較した。 分布非依存および線状セントロイド症例の両方において,ベイジアンMAMLは,MAMLよりも明らかにメタテストリスクが低いことが確認された。
  論文  参考訳（メタデータ） (2022-03-06T21:38:18Z)
• Sign-MAML: Efficient Model-Agnostic Meta-Learning by SignSGD [16.417263188143313]
  モデルに依存しないメタラーニング(MAML)のための新しい計算効率の高い1次アルゴリズムを提案する。 我々は,SGDを指向したBLOのレンズを用いてMAMLが,学習したメタモデルの1次勾配のみを必要とする交互最適化スキームを自然に生成することを示す。 実際に,Sign-MAMLがFO-MAMLより優れていることを示す。
  論文  参考訳（メタデータ） (2021-09-15T18:01:55Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• How Does the Task Landscape Affect MAML Performance? [42.27488241647739]
  モデル非依存メタラーニング(MAML)は非適応学習(NAL)よりも最適化が難しいことを示す。 簡単なタスクと難しいタスクの混合からなる線形回帰設定でこの問題を解析的に解決する。 また、これらの知見が2層ニューラルネットワークに適用可能であることを示唆する数値的および解析的な結果も提示する。
  論文  参考訳（メタデータ） (2020-10-27T23:54:44Z)
• Weighted Meta-Learning [21.522768804834616]
  モデルに依存しないメタラーニング(MAML)のような多くの一般的なメタラーニングアルゴリズムは、微調整のためにターゲットサンプルへのアクセスのみを前提としている。 本研究では、異なるソースタスクの損失の重み付けに基づくメタ学習のための一般的なフレームワークを提供する。 重み付きMAMLアルゴリズムを含む経験的IPMに関する誤差を最小化する学習アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-03-20T19:00:42Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。