論文の概要: Incremental Meta-Learning via Episodic Replay Distillation for Few-Shot Image Recognition

• arxiv url: http://arxiv.org/abs/2111.04993v2
• Date: Thu, 11 Nov 2021 16:54:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-12 11:27:01.212496
• Title: Incremental Meta-Learning via Episodic Replay Distillation for Few-Shot Image Recognition
• Title（参考訳）: 極小画像認識のためのエピソディックリプレイ蒸留によるインクリメンタルメタラーニング
• Authors: Kai Wang, Xialei Liu, Andy Bagdanov, Luis Herranz, Shangling Jui, Joost van de Weijer
• Abstract要約: 本稿では,クラスを個別タスクで段階的に提示するインクリメンタルメタラーニング(IML)の問題について考察する。 エピソディック・リプレイ蒸留 (ERD) と呼ばれる IML へのアプローチを提案する。 ERDは、現在のタスクからクラスをミックスし、メタ学習のためにエピソードをサンプリングする際、以前のタスクからクラスを例示する。
• 参考スコア（独自算出の注目度）: 43.44508415430047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most meta-learning approaches assume the existence of a very large set of labeled data available for episodic meta-learning of base knowledge. This contrasts with the more realistic continual learning paradigm in which data arrives incrementally in the form of tasks containing disjoint classes. In this paper we consider this problem of Incremental Meta-Learning (IML) in which classes are presented incrementally in discrete tasks. We propose an approach to IML, which we call Episodic Replay Distillation (ERD), that mixes classes from the current task with class exemplars from previous tasks when sampling episodes for meta-learning. These episodes are then used for knowledge distillation to minimize catastrophic forgetting. Experiments on four datasets demonstrate that ERD surpasses the state-of-the-art. In particular, on the more challenging one-shot, long task sequence incremental meta-learning scenarios, we reduce the gap between IML and the joint-training upper bound from 3.5% / 10.1% / 13.4% with the current state-of-the-art to 2.6% / 2.9% / 5.0% with our method on Tiered-ImageNet / Mini-ImageNet / CIFAR100, respectively.
• Abstract（参考訳）: ほとんどのメタラーニングアプローチは、基礎知識のエピソディックなメタラーニングに利用可能な非常に大きなラベル付きデータセットの存在を仮定している。 これは、データが不整合クラスを含むタスクの形式で漸進的に到着する、より現実的な連続的な学習パラダイムとは対照的である。 本稿では,クラスを個別タスクで段階的に提示するインクリメンタルメタラーニング(IML)の問題について考察する。 メタラーニングのエピソードをサンプリングする際に,現在のタスクのクラスと前のタスクのクラスのインスタンスを混合する,エピソディックリプレイ蒸留 (erd) と呼ばれる iml のアプローチを提案する。 これらのエピソードは、破滅的な忘れを最小化するために知識蒸留に使用される。 4つのデータセットの実験では、EDRが最先端を超えることが示されている。 特に、より挑戦的な、長いタスクシーケンスの漸進的なメタラーニングシナリオでは、IMLと共同トレーニング上の上限の差を3.5%/10.1%/13.4%から2.6%/2.9%/5.0%に減らし、Tiered-ImageNet / Mini-ImageNet / CIFAR100にそれぞれ適用します。

関連論文リスト

• Accelerating Meta-Learning by Sharing Gradients [12.090942406595637]
  勾配共有により、より大きい内ループ学習率でメタ学習が可能であり、メタ学習過程を最大134%高速化できることを示す。 グラデーションの共有により、より大きな内ループ学習率でメタ学習が可能となり、メタ学習過程を最大134%高速化する。
  論文  参考訳（メタデータ） (2023-12-13T04:34:48Z)
• Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification [68.19713459228369]
  我々は、トランスファーラーニング、メタラーニング、コントラストラーニングを、参照機械学習(ML)ツリーベースおよびモノリシックDLモデルと比較する。 i) 大規模なデータセットを用いて,より一般的な表現を得られること,(ii) コントラスト学習が最良の手法であることを示している。 MLツリーベースでは大きなタスクは処理できないが、学習した表現を再利用することで、小さなタスクにも適合するが、DLメソッドはツリーベースモデルのパフォーマンスにも到達している。
  論文  参考訳（メタデータ） (2023-05-21T11:20:49Z)
• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• Continual Few-Shot Learning with Adversarial Class Storage [44.04528506999142]
  本稿では,連続的メタラーナー(CML)を提案する。 CMLは、メトリックベースの分類とメモリベースのメカニズムと、逆学習をメタ学習フレームワークに統合する。 実験結果から,CMLは破滅的な忘れを伴わずに,数発の学習タスクで最先端のパフォーマンスを実現することがわかった。
  論文  参考訳（メタデータ） (2022-07-10T03:40:38Z)
• Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning [51.03781020616402]
  現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。 そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。 粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
  論文  参考訳（メタデータ） (2021-08-15T02:21:01Z)
• La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
  オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。 La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
  論文  参考訳（メタデータ） (2020-07-27T23:07:01Z)
• Learning to Segment the Tail [91.38061765836443]
  実世界の視覚認識には、大規模な長い尾を持つデータの極端なサンプル不均衡を扱う必要がある。 我々は,LVISタスクの課題に対して,データ全体をバランスの取れた部分に分割し,各部分の征服に漸進的な学習を適用する,"分別/分別"戦略を提案する。
  論文  参考訳（メタデータ） (2020-04-02T09:39:08Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。