論文の概要: Comparing Transfer and Meta Learning Approaches on a Unified Few-Shot Classification Benchmark

• arxiv url: http://arxiv.org/abs/2104.02638v1
• Date: Tue, 6 Apr 2021 16:17:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:20:43.743753
• Title: Comparing Transfer and Meta Learning Approaches on a Unified Few-Shot Classification Benchmark
• Title（参考訳）: 統合マイズショット分類ベンチマークにおけるトランスファーとメタラーニングのアプローチの比較
• Authors: Vincent Dumoulin, Neil Houlsby, Utku Evci, Xiaohua Zhai, Ross Goroshin, Sylvain Gelly, Hugo Larochelle
• Abstract要約: 大規模メタラーニングベンチマークとトランスファーラーニングベンチマークにおける最適なトランスファーとメタラーニングの家族間比較検討 その結果,ImageNetでのみトレーニングした場合においても,大規模転送方式(Big Transfer, BiT)はMD上での競合手法よりも優れていた。 評価基準の相違点を多数明らかにし,それらのいくつかを性能差の観点から検討した。
• 参考スコア（独自算出の注目度）: 44.530605715850506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta and transfer learning are two successful families of approaches to few-shot learning. Despite highly related goals, state-of-the-art advances in each family are measured largely in isolation of each other. As a result of diverging evaluation norms, a direct or thorough comparison of different approaches is challenging. To bridge this gap, we perform a cross-family study of the best transfer and meta learners on both a large-scale meta-learning benchmark (Meta-Dataset, MD), and a transfer learning benchmark (Visual Task Adaptation Benchmark, VTAB). We find that, on average, large-scale transfer methods (Big Transfer, BiT) outperform competing approaches on MD, even when trained only on ImageNet. In contrast, meta-learning approaches struggle to compete on VTAB when trained and validated on MD. However, BiT is not without limitations, and pushing for scale does not improve performance on highly out-of-distribution MD tasks. In performing this study, we reveal a number of discrepancies in evaluation norms and study some of these in light of the performance gap. We hope that this work facilitates sharing of insights from each community, and accelerates progress on few-shot learning.
• Abstract（参考訳）: メタとトランスファーの学習は、2つの成功したアプローチのファミリーである。 極めて関連性の高い目標にもかかわらず、それぞれの家族の最先端は互いに独立して測定される。 評価基準の多様化の結果、異なるアプローチの直接的あるいは徹底的な比較が困難である。 このギャップを埋めるために,大規模なメタ学習ベンチマーク(meta-dataset, md)とトランスファー学習ベンチマーク(visual task adaptation benchmark, vtab)の両方において,最高のトランスファーとメタ学習者の家族間比較を行った。 その結果,ImageNetでのみトレーニングした場合においても,大規模転送方式(Big Transfer, BiT)はMD上での競合手法よりも優れていた。 対照的に、メタラーニングアプローチは、MDでトレーニングされ、検証されたとき、VTABで競うのに苦労する。 しかし、BiTには制限がなく、スケールを推し進めることによってMDタスクの性能は向上しない。 本研究では,評価基準の相違点を数多く明らかにし,それらのいくつかを性能の差から検討する。 この作業が各コミュニティからの洞察の共有を促進し、数発の学習の進捗を加速することを期待しています。

関連論文リスト

• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• Few-Shot Classification with Contrastive Learning [10.236150550121163]
  両段階に比較学習をシームレスに統合する,新しいコントラスト学習ベースのフレームワークを提案する。 メタトレーニングの段階において,同エピソードの2つの異なる視点から最寄りのセントロイド分類を行うための,クロスビュー・エピソード・トレーニング機構を提案する。 これらの2つの戦略は、ビュー間のバイアスを克服し、表現の転送可能性を促進するようモデルに強制する。
  論文  参考訳（メタデータ） (2022-09-17T02:39:09Z)
• The Curse of Low Task Diversity: On the Failure of Transfer Learning to Outperform MAML and Their Empirical Equivalence [20.965759895300327]
  数ショットの学習ベンチマークでタスクの多様性を測定するための新しい指標である多様性係数を提案する。 多様性係数を用いて、人気の MiniImageNet と CIFAR-FS の少数ショット学習ベンチマークの多様性が低いことを示す。
  論文  参考訳（メタデータ） (2022-08-02T15:49:11Z)
• The Curse of Zero Task Diversity: On the Failure of Transfer Learning to Outperform MAML and their Empirical Equivalence [19.556093984142418]
  数ショットの学習ベンチマークの解決には,トランスファーラーニングソリューションがすべて必要かも知れません。 我々はこの指標を、数ショットの学習ベンチマークの多様性係数と命名する。 転帰学習におけるMAML学習ソリューションの公平な比較を行う場合,両者が同一のメタテスト精度を有することを示す。
  論文  参考訳（メタデータ） (2021-12-24T18:42:58Z)
• Faster Meta Update Strategy for Noise-Robust Deep Learning [62.08964100618873]
  我々は,メタグラデーションの最も高価なステップをより高速なレイヤワイズ近似に置き換えるために,新しいファMUS(Faster Meta Update Strategy)を導入する。 本手法は,同等あるいはさらに優れた一般化性能を維持しつつ,トレーニング時間の3分の2を節約できることを示す。
  論文  参考訳（メタデータ） (2021-04-30T16:19:07Z)
• Lessons from Chasing Few-Shot Learning Benchmarks: Rethinking the Evaluation of Meta-Learning Methods [9.821362920940631]
  メタラーニングのための簡単なベースライン、FIX-MLを紹介します。 メタラーニングの2つの可能性を探る:(i)トレーニングセット(in-distriion)を生成する同じタスク分布に一般化する手法を開発する、(ii)新しい未確認タスク分布(out-of-distriion)に一般化する手法を開発する。 本研究は,この領域の進歩を推論するためには,メタラーニングの目標を明確に説明し,より適切な評価戦略を開発する必要があることを強調した。
  論文  参考訳（メタデータ） (2021-02-23T05:34:30Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。