論文の概要: Incremental Meta-Learning via Indirect Discriminant Alignment

• arxiv url: http://arxiv.org/abs/2002.04162v2
• Date: Tue, 21 Apr 2020 18:19:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 01:11:33.034077
• Title: Incremental Meta-Learning via Indirect Discriminant Alignment
• Title（参考訳）: 間接的識別アライメントによるインクリメンタルメタラーニング
• Authors: Qing Liu, Orchid Majumder, Alessandro Achille, Avinash Ravichandran, Rahul Bhotika, Stefano Soatto
• Abstract要約: メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
• 参考スコア（独自算出の注目度）: 118.61152684795178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Majority of the modern meta-learning methods for few-shot classification tasks operate in two phases: a meta-training phase where the meta-learner learns a generic representation by solving multiple few-shot tasks sampled from a large dataset and a testing phase, where the meta-learner leverages its learnt internal representation for a specific few-shot task involving classes which were not seen during the meta-training phase. To the best of our knowledge, all such meta-learning methods use a single base dataset for meta-training to sample tasks from and do not adapt the algorithm after meta-training. This strategy may not scale to real-world use-cases where the meta-learner does not potentially have access to the full meta-training dataset from the very beginning and we need to update the meta-learner in an incremental fashion when additional training data becomes available. Through our experimental setup, we develop a notion of incremental learning during the meta-training phase of meta-learning and propose a method which can be used with multiple existing metric-based meta-learning algorithms. Experimental results on benchmark dataset show that our approach performs favorably at test time as compared to training a model with the full meta-training set and incurs negligible amount of catastrophic forgetting
• Abstract（参考訳）: メタ学習フェーズ: メタ学習フェーズ: メタ学習フェーズ: メタ学習フェーズ: メタ学習フェーズ: メタ学習フェーズ: メタ学習フェーズは、大規模なデータセットからサンプリングされた複数のショットタスクを解くことで、汎用的な表現を学ぶ。 我々の知る限り、こうしたメタ学習手法はすべて、メタトレーニングのための単一のベースデータセットを使用してタスクをサンプリングし、メタトレーニング後にアルゴリズムを適応しない。 この戦略は、メタリーナーが最初から完全なメタトレーニングデータセットにアクセスできない可能性があり、追加のトレーニングデータが利用可能になった場合、メタリーナーをインクリメンタルに更新する必要がある現実のユースケースにはスケールしないかもしれない。 本研究では,メタ学習のメタ学習段階におけるインクリメンタルラーニングの概念を開発し,既存のメトリックベースメタラーニングアルゴリズムで使用可能な手法を提案する。 ベンチマークデータセットによる実験結果から,本手法は完全メタトレーニングセットを用いたモデルのトレーニングに比べ,テスト時に良好に動作し,破滅的忘れを負う可能性が示唆された。

関連論文リスト

• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Lessons from Chasing Few-Shot Learning Benchmarks: Rethinking the Evaluation of Meta-Learning Methods [9.821362920940631]
  メタラーニングのための簡単なベースライン、FIX-MLを紹介します。 メタラーニングの2つの可能性を探る:(i)トレーニングセット(in-distriion)を生成する同じタスク分布に一般化する手法を開発する、(ii)新しい未確認タスク分布(out-of-distriion)に一般化する手法を開発する。 本研究は,この領域の進歩を推論するためには,メタラーニングの目標を明確に説明し,より適切な評価戦略を開発する必要があることを強調した。
  論文  参考訳（メタデータ） (2021-02-23T05:34:30Z)
• Variable-Shot Adaptation for Online Meta-Learning [123.47725004094472]
  従来のタスクから静的データにまたがるメタラーニングによって,少数の固定された例から新しいタスクを学習する問題について検討する。 メタラーニングは,従来の教師付き手法に比べて,ラベルの総数が少なく,累積性能も高いタスクセットを解く。 これらの結果から,メタラーニングは,一連の問題を継続的に学習し,改善する学習システムを構築する上で重要な要素であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-14T18:05:24Z)
• A Nested Bi-level Optimization Framework for Robust Few Shot Learning [10.147225934340877]
  NestedMAMLはトレーニングタスクやインスタンスに重みを割り当てることを学ぶ。 合成および実世界のデータセットの実験では、NestedMAMLは「不要な」タスクやインスタンスの効果を効率的に緩和している。
  論文  参考訳（メタデータ） (2020-11-13T06:41:22Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。