論文の概要: Lessons from Chasing Few-Shot Learning Benchmarks: Rethinking the Evaluation of Meta-Learning Methods

• arxiv url: http://arxiv.org/abs/2102.11503v1
• Date: Tue, 23 Feb 2021 05:34:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-24 13:54:51.597540
• Title: Lessons from Chasing Few-Shot Learning Benchmarks: Rethinking the Evaluation of Meta-Learning Methods
• Title（参考訳）: 簡単な学習ベンチマークから学んだこと:メタラーニング手法の評価を再考する
• Authors: Amrith Setlur, Oscar Li, Virginia Smith
• Abstract要約: メタラーニングのための簡単なベースライン、FIX-MLを紹介します。 メタラーニングの2つの可能性を探る:(i)トレーニングセット(in-distriion)を生成する同じタスク分布に一般化する手法を開発する、(ii)新しい未確認タスク分布(out-of-distriion)に一般化する手法を開発する。 本研究は,この領域の進歩を推論するためには,メタラーニングの目標を明確に説明し,より適切な評価戦略を開発する必要があることを強調した。
• 参考スコア（独自算出の注目度）: 9.821362920940631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we introduce a simple baseline for meta-learning. Our unconventional method, FIX-ML, reduces task diversity by keeping support sets fixed across tasks, and consistently improves the performance of meta-learning methods on popular few-shot learning benchmarks. However, in exploring the reason for this counter-intuitive phenomenon, we unearth a series of questions and concerns about meta-learning evaluation practices. We explore two possible goals of meta-learning: to develop methods that generalize (i) to the same task distribution that generates the training set (in-distribution), or (ii) to new, unseen task distributions (out-of-distribution). Through careful analyses, we show that for each of these two goals, current few-shot learning benchmarks have potential pitfalls in 1) performing model selection and hyperparameter tuning for a given meta-learning method and 2) comparing the performance of different meta-learning methods. Our results highlight that in order to reason about progress in this space, it is necessary to provide a clearer description of the goals of meta-learning, and to develop more appropriate corresponding evaluation strategies.
• Abstract（参考訳）: 本稿ではメタラーニングのためのシンプルなベースラインを紹介する。 提案手法であるFIX-MLは,タスク間のサポートセットを固定してタスクの多様性を低減し,メタラーニング手法の性能を向上する。 しかし,この反直感的現象の理由を探る際に,メタラーニング評価の実践について,一連の疑問と懸念を提起する。 メタラーニングの2つの可能性を探る: (i) トレーニングセットを生成する同じタスク分布に一般化する手法(in-distriion) または (ii) 新たな未確認タスク分布(out-of-distriion)に一般化する手法を開発する。 注意深い分析を通じて,この2つの目標それぞれについて,(1)与えられたメタラーニング法に対してモデル選択とハイパーパラメータチューニングを行うこと,(2)異なるメタラーニング法の性能を比較すること,の2つの落とし穴があることを示す。 以上の結果から,この分野の進歩を判断するためには,メタラーニングの目標を明確に説明し,より適切な評価戦略を開発する必要があることを強調する。

関連論文リスト

• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• Diverse Distributions of Self-Supervised Tasks for Meta-Learning in NLP [39.457091182683406]
  非ラベルテキストから自動的に提案される自己教師型タスクを考慮し,メタラーニングのためのタスク分布の提供を目指す。 分析の結果,これらすべての要因がタスク分布を有意に変化させることが示され,メタ学習モデルの下流における数ショット精度の大幅な改善がもたらされた。
  論文  参考訳（メタデータ） (2021-11-02T01:50:09Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Similarity of Classification Tasks [46.78404360210806]
  本稿では,メタ学習の性能を最適化し,よりよく理解するために,タスク類似性を解析するための生成的アプローチを提案する。 提案手法は,2つの数ショット分類ベンチマークにおいてメタラーニングアルゴリズムの洞察に富んだ評価を行うことができることを示す。
  論文  参考訳（メタデータ） (2021-01-27T04:37:34Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)
• Structured Prediction for Conditional Meta-Learning [44.30857707980074]
  構造化予測を用いた条件付きメタラーニングの新しい視点を提案する。 タスク適応型構造化メタラーニング(TASML: Task-Adaptive Structured Meta-learning)は,タスク固有目的関数を生成する基本的フレームワークである。 実験により,TASMLは既存のメタラーニングモデルの性能を向上し,ベンチマークデータセットの最先端性を上回った。
  論文  参考訳（メタデータ） (2020-02-20T15:24:15Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。