論文の概要: On Hard Episodes in Meta-Learning
- arxiv url: http://arxiv.org/abs/2110.11190v1
- Date: Thu, 21 Oct 2021 14:58:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-23 00:04:25.586570
- Title: On Hard Episodes in Meta-Learning
- Title(参考訳): メタラーニングのハードエピソードについて
- Authors: Samyadeep Basu, Amr Sharaf, Nicolo Fusi, Soheil Feizi
- Abstract要約: 既存のメタラーナーは、主に複数のエピソードの平均タスク精度を改善することに重点を置いている。
しかし、異なるエピソードは、難易度と品質が異なるため、メタ・ラーナーのパフォーマンスはエピソードによって大きく差している。
- 参考スコア(独自算出の注目度): 35.46163595112011
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing meta-learners primarily focus on improving the average task accuracy
across multiple episodes. Different episodes, however, may vary in hardness and
quality leading to a wide gap in the meta-learner's performance across
episodes. Understanding this issue is particularly critical in industrial
few-shot settings, where there is limited control over test episodes as they
are typically uploaded by end-users. In this paper, we empirically analyse the
behaviour of meta-learners on episodes of varying hardness across three
standard benchmark datasets: CIFAR-FS, mini-ImageNet, and tiered-ImageNet.
Surprisingly, we observe a wide gap in accuracy of around 50% between the
hardest and easiest episodes across all the standard benchmarks and
meta-learners. We additionally investigate various properties of hard episodes
and highlight their connection to catastrophic forgetting during meta-training.
To address the issue of sub-par performance on hard episodes, we investigate
and benchmark different meta-training strategies based on adversarial training
and curriculum learning. We find that adversarial training strategies are much
more powerful than curriculum learning in improving the prediction performance
on hard episodes.
- Abstract(参考訳): 既存のメタラーナーは、主に複数のエピソードの平均タスク精度の改善に焦点を当てている。
しかし、異なるエピソードは、難易度と品質が異なるため、メタ・ラーナーのパフォーマンスはエピソードによって大きく差している。
この問題を理解することは、通常エンドユーザーがアップロードするテストエピソードのコントロールが限られている、産業的な少数ショット設定において特に重要である。
本稿では,CIFAR-FS, mini-ImageNet, tiered-ImageNetの3つの標準ベンチマークデータセットを用いて,メタラーナーの動作を実験的に分析する。
驚くべきことに、私たちはすべての標準ベンチマークとメタラーナーで最も難しいエピソードと最も簡単なエピソードの間に、50%程度の精度の広いギャップを観察します。
さらに, ハードエピソードの諸特性について検討し, メタトレーニング中の破滅的忘れ込みとの関連を強調した。
ハードエピソードにおけるサブパーパフォーマンスの問題に対処するため、逆行訓練とカリキュラム学習に基づく異なるメタトレーニング戦略を検証・ベンチマークする。
ハードエピソードの予測性能向上には, 学習能力よりも, 敵対的学習戦略が優れていることが判明した。
関連論文リスト
- Episodic-free Task Selection for Few-shot Learning [2.508902852545462]
エピソードトレーニング以外の新しいメタトレーニングフレームワークを提案する。
エピソード・タスクは直接訓練に使用されるのではなく、選択されたエピソード・フリー・タスクの有効性を評価するために用いられる。
実験では、トレーニングタスクセットには、例えば、コントラスト学習や分類など、いくつかの有望なタイプが含まれている。
論文 参考訳(メタデータ) (2024-01-31T10:52:15Z) - Multi-Label Meta Weighting for Long-Tailed Dynamic Scene Graph
Generation [55.429541407920304]
対象と対象のペア間の述語認識は、本質的に不均衡であり、複数ラベルである。
最近の最先端の手法は、主に最も頻繁に発生する述語クラスに焦点を当てている。
偏りのある述語分布を扱うために,多言語メタラーニングフレームワークを導入する。
論文 参考訳(メタデータ) (2023-06-16T18:14:23Z) - Uniform Sampling over Episode Difficulty [55.067544082168624]
本稿では,その難易度に基づいて,エピソードサンプリング分布を近似する手法を提案する。
提案手法はアルゴリズムに依存しないため,これらの知見を利用して数発の学習精度を向上させることができる。
論文 参考訳(メタデータ) (2021-08-03T17:58:54Z) - Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。
メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。
これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
論文 参考訳(メタデータ) (2020-12-14T18:05:24Z) - Expert Training: Task Hardness Aware Meta-Learning for Few-Shot
Classification [62.10696018098057]
そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。
タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。
miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
論文 参考訳(メタデータ) (2020-07-13T08:49:00Z) - Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。
我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
論文 参考訳(メタデータ) (2020-02-11T01:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。