論文の概要: Boosting Meta-Training with Base Class Information for Few-Shot Learning
- arxiv url: http://arxiv.org/abs/2403.03472v1
- Date: Wed, 6 Mar 2024 05:13:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 16:04:31.459553
- Title: Boosting Meta-Training with Base Class Information for Few-Shot Learning
- Title（参考訳）: Few-Shot Learningのためのベースクラス情報を用いたメタトレーニングの強化
- Authors: Weihao Jiang, Guodong Liu, Di He, Kun He
- Abstract要約: 2つの代替ループからなるエンドツーエンドのトレーニングパラダイムを提案する。
外部ループでは,最終線形層のみを更新しながら,トレーニングセット全体のクロスエントロピー損失を算出する。
このトレーニングパラダイムは、迅速に収束するだけでなく、既存のベースラインよりも優れており、トレーニングセット全体からの情報とメタラーニングトレーニングパラダイムが相互に強化できることを示している。
- 参考スコア（独自算出の注目度）: 35.144099160883606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot learning, a challenging task in machine learning, aims to learn a
classifier adaptable to recognize new, unseen classes with limited labeled
examples. Meta-learning has emerged as a prominent framework for few-shot
learning. Its training framework is originally a task-level learning method,
such as Model-Agnostic Meta-Learning (MAML) and Prototypical Networks. And a
recently proposed training paradigm called Meta-Baseline, which consists of
sequential pre-training and meta-training stages, gains state-of-the-art
performance. However, as a non-end-to-end training method, indicating the
meta-training stage can only begin after the completion of pre-training,
Meta-Baseline suffers from higher training cost and suboptimal performance due
to the inherent conflicts of the two training stages. To address these
limitations, we propose an end-to-end training paradigm consisting of two
alternative loops. In the outer loop, we calculate cross entropy loss on the
entire training set while updating only the final linear layer. In the inner
loop, we employ the original meta-learning training mode to calculate the loss
and incorporate gradients from the outer loss to guide the parameter updates.
This training paradigm not only converges quickly but also outperforms existing
baselines, indicating that information from the overall training set and the
meta-learning training paradigm could mutually reinforce one another. Moreover,
being model-agnostic, our framework achieves significant performance gains,
surpassing the baseline systems by approximate 1%.
- Abstract（参考訳）: 機械学習における挑戦的なタスクであるFew-shot Learningは、ラベル付き例が限定された新しい、見えないクラスを認識するために適応可能な分類器を学ぶことを目的としている。
メタラーニングは、数少ない学習のための顕著なフレームワークとして登場した。
そのトレーニングフレームワークはもともと、モデル非依存なメタ学習(maml)やプロトタイプ的ネットワークといったタスクレベルの学習方法であった。
そして、最近提案されたmeta-baselineと呼ばれるトレーニングパラダイムは、逐次事前トレーニングとメタトレーニングステージで構成され、最先端のパフォーマンスを得る。
しかし, メタベースラインは, 終末訓練法として, 事前訓練の完了後にのみメタトレーニング段階を開始することができることを示すため, 2つの訓練段階の固有の矛盾により, トレーニングコストと準最適性能に悩まされる。
これらの制約に対処するために,2つの代替ループからなるエンドツーエンドのトレーニングパラダイムを提案する。
外部ループでは,最終線形層のみを更新しながら,トレーニングセット全体のクロスエントロピー損失を算出する。
内部ループでは、元のメタ学習訓練モードを用いて損失を計算し、外乱からの勾配を取り入れ、パラメータ更新を誘導する。
このトレーニングパラダイムは、迅速に収束するだけでなく、既存のベースラインよりも優れており、トレーニングセット全体からの情報とメタラーニングトレーニングパラダイムが相互に強化できることを示している。
さらに,本フレームワークはモデルに依存しないため,ベースラインシステムの約1%を超え,大幅な性能向上を実現している。
関連論文リスト
- Joint or Disjoint: Mixing Training Regimes for Early-Exit Models [3.052154851421859]
早期出口はディープニューラルネットワークに必要な計算量を大幅に削減する。
ほとんどの早期出口法では、バックボーンネットワークと出口ヘッドを同時に訓練するか、出口ヘッドを別々に訓練する訓練戦略を採用している。
本稿では,バックボーンを自力でトレーニングし,その後にバックボーンと出口ヘッドを併用したトレーニング手法を提案する。
論文 参考訳（メタデータ） (2024-07-19T13:56:57Z) - Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。
ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。
本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
論文 参考訳（メタデータ） (2023-03-20T15:10:41Z) - MetaICL: Learning to Learn In Context [87.23056864536613]
そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。
その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
論文 参考訳（メタデータ） (2021-10-29T17:42:08Z) - Long-term Cross Adversarial Training: A Robust Meta-learning Method for
Few-shot Classification Tasks [10.058068783476598]
本稿では,LCAT(Long-term Cross Adversarial Training)と呼ばれる,逆向き頑健なニューラルネットワークのメタラーニング手法を提案する。
逆行訓練により、LCATはAQよりも逆行訓練の半数しか必要とせず、結果として逆行訓練のエポックは低くなる。
実験の結果,LCATはクリーンおよび逆数ショットの分類精度において優れた性能を示した。
論文 参考訳（メタデータ） (2021-06-22T06:31:16Z) - Trainable Class Prototypes for Few-Shot Learning [5.481942307939029]
本稿では,メタトレーニングとタスクトレーニングの枠組みにおいて,距離測定のためのトレーニング可能なプロトタイプを提案する。
また, エピソードなメタトレーニングがもたらした欠点を避けるために, 自己教師型学習に基づく非エピソードなメタトレーニングを採用する。
本手法は,標準的な数ショットの視覚的分類データセット上で,多数の確立された数ショットタスクにおいて,最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-06-21T04:19:56Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - Pre-training Text Representations as Meta Learning [113.3361289756749]
本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。
マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
論文 参考訳（メタデータ） (2020-04-12T09:05:47Z) - Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。
我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
論文 参考訳（メタデータ） (2020-03-09T20:06:36Z) - Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。
我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
論文 参考訳（メタデータ） (2020-02-11T01:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。