論文の概要: Does MAML Only Work via Feature Re-use? A Data Centric Perspective
- arxiv url: http://arxiv.org/abs/2112.13137v1
- Date: Fri, 24 Dec 2021 20:18:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 13:57:13.900533
- Title: Does MAML Only Work via Feature Re-use? A Data Centric Perspective
- Title（参考訳）: MAMLは機能再使用によってのみ動作するか?
データ中心の視点
- Authors: Brando Miranda, Yu-Xiong Wang and Sanmi Koyejo
- Abstract要約: メタ学習型MAMLの表現機能に光を当てた経験的結果を提供する。
機能再使用の低さをもたらす合成ベンチマークのファミリを定義することが可能であることを示す。
メタラーニングを再考する上での課題は、数ショットの学習データセットとベンチマークの設計にあると推測する。
- 参考スコア（独自算出の注目度）: 19.556093984142418
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has suggested that a good embedding is all we need to solve many
few-shot learning benchmarks. Furthermore, other work has strongly suggested
that Model Agnostic Meta-Learning (MAML) also works via this same method - by
learning a good embedding. These observations highlight our lack of
understanding of what meta-learning algorithms are doing and when they work. In
this work, we provide empirical results that shed some light on how
meta-learned MAML representations function. In particular, we identify three
interesting properties: 1) In contrast to previous work, we show that it is
possible to define a family of synthetic benchmarks that result in a low degree
of feature re-use - suggesting that current few-shot learning benchmarks might
not have the properties needed for the success of meta-learning algorithms; 2)
meta-overfitting occurs when the number of classes (or concepts) are finite,
and this issue disappears once the task has an unbounded number of concepts
(e.g., online learning); 3) more adaptation at meta-test time with MAML does
not necessarily result in a significant representation change or even an
improvement in meta-test performance - even when training on our proposed
synthetic benchmarks. Finally, we suggest that to understand meta-learning
algorithms better, we must go beyond tracking only absolute performance and, in
addition, formally quantify the degree of meta-learning and track both metrics
together. Reporting results in future work this way will help us identify the
sources of meta-overfitting more accurately and help us design more flexible
meta-learning algorithms that learn beyond fixed feature re-use. Finally, we
conjecture the core challenge of re-thinking meta-learning is in the design of
few-shot learning data sets and benchmarks - rather than in the algorithms, as
suggested by previous work.
- Abstract（参考訳）: 最近の研究は、優れた埋め込みが、多くの数ショットの学習ベンチマークを解決する必要があることを示唆している。
さらに、モデル非依存なメタ学習(maml)も、良い埋め込みを学習することで、同じ方法で機能することを強く示唆している。
これらの観察は、メタ学習アルゴリズムが何をし、いつ機能するのかについての理解の欠如を浮き彫りにする。
本研究では,メタ学習型MAML表現がいかに機能するかを示す実験結果を提供する。
特に3つの興味深い性質を同定する。
1) 従来の研究とは対照的に,機能再使用の程度が低い合成ベンチマークのファミリーを定義することが可能であることが示され,現在の数発の学習ベンチマークはメタ学習アルゴリズムの成功に必要な特性を持っていない可能性が示唆された。
2) メタオーバーフィットは、クラス数(あるいは概念)が有限であるときに起こり、タスクが無制限の概念(例えばオンライン学習)を持つと、この問題は消滅する。
3)mamlによるメタテスト時の適応性は,提案する合成ベンチマークのトレーニングにおいても,大幅な表現変更やメタテストパフォーマンスの向上を必ずしも生まない。
最後に、メタ学習アルゴリズムをよりよく理解するためには、絶対的なパフォーマンスのみを追跡することを超えて、メタ学習の程度を正式に定量化し、両方のメトリクスを一緒に追跡しなければなりません。
この方法での報告結果は、メタオーバーフィッティングのソースをより正確に特定し、固定機能の再使用を超えて学習する柔軟なメタ学習アルゴリズムを設計するのに役立ちます。
最後に、メタラーニングを再考する上での課題は、以前の研究で示唆されたアルゴリズムではなく、数ショットの学習データセットとベンチマークの設計にあると推測する。
関連論文リスト
- Fast Adaptation with Kernel and Gradient based Meta Leaning [4.763682200721131]
モデルAメタラーニング(MAML)の内輪と外輪の両方を改善するための2つのアルゴリズムを提案する。
最初のアルゴリズムは関数空間の最適化問題を再定義し、閉形式解を用いてモデルを更新する。
外ループでは、内ループの各タスクの損失に重みを割り当てることで、第2のアルゴリズムがメタラーナーの学習を調整する。
論文 参考訳（メタデータ） (2024-11-01T07:05:03Z) - Context-Aware Meta-Learning [52.09326317432577]
本研究では,大規模言語モデルのエミュレートを行うメタ学習アルゴリズムを提案する。
我々のアプローチは、11のメタラーニングベンチマークのうち8つで最先端のアルゴリズムであるP>M>Fを上回り、一致します。
論文 参考訳（メタデータ） (2023-10-17T03:35:27Z) - Learning to Learn with Indispensable Connections [6.040904021861969]
本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。
本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
論文 参考訳（メタデータ） (2023-04-06T04:53:13Z) - MAC: A Meta-Learning Approach for Feature Learning and Recombination [0.0]
本稿では,ニューラルネットワークの幅-深さ双対性を呼び出すことにより,余分な計算ユニット(ACU)を追加することにより,ネットワークの幅を増大させる。
実験の結果,提案手法は,非類似タスク分布に対する既存のANILアルゴリズムを約13%上回る性能を示した。
論文 参考訳（メタデータ） (2022-09-20T11:09:54Z) - What Matters For Meta-Learning Vision Regression Tasks? [19.373532562905208]
本論文は,このほとんど探索されていない領域の理解に寄与する2つの主要な貢献を行う。
まず、オブジェクト発見とポーズ推定という2つの新しいカテゴリレベルの視覚回帰タスクを設計する。
第2に,条件付きニューラルプロセス(CNP)におけるタスク表現に関数型コントラスト学習(FCL)を付加し,エンドツーエンドで学習する手法を提案する。
論文 参考訳（メタデータ） (2022-03-09T17:28:16Z) - Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and
Personalized Federated Learning [56.17603785248675]
モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。
既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。
本稿では,MAMLのメモリベースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-09T08:47:58Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - Rethinking Few-Shot Image Classification: a Good Embedding Is All You
Need? [72.00712736992618]
メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。
追加の増量は自己蒸留によって達成できる。
我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
論文 参考訳（メタデータ） (2020-03-25T17:58:42Z) - Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。
我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
論文 参考訳（メタデータ） (2020-03-09T20:06:36Z) - Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。
我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
論文 参考訳（メタデータ） (2020-02-11T01:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。