論文の概要: Few-Shot Learning of Compact Models via Task-Specific Meta Distillation

• arxiv url: http://arxiv.org/abs/2210.09922v1
• Date: Tue, 18 Oct 2022 15:06:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 15:33:08.718088
• Title: Few-Shot Learning of Compact Models via Task-Specific Meta Distillation
• Title（参考訳）: タスク特化メタ蒸留によるコンパクトモデルのFew-Shot学習
• Authors: Yong Wu, Shekhor Chanda, Mehrdad Hosseinzadeh, Zhi Liu, Yang Wang
• Abstract要約: コンパクトモデルの少数ショット学習における新しい問題を考える。 メタ学習において2つのモデルを同時に学習するタスク固有のメタ蒸留を提案する。
• 参考スコア（独自算出の注目度）: 16.683801607142257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a new problem of few-shot learning of compact models. Meta-learning is a popular approach for few-shot learning. Previous work in meta-learning typically assumes that the model architecture during meta-training is the same as the model architecture used for final deployment. In this paper, we challenge this basic assumption. For final deployment, we often need the model to be small. But small models usually do not have enough capacity to effectively adapt to new tasks. In the mean time, we often have access to the large dataset and extensive computing power during meta-training since meta-training is typically performed on a server. In this paper, we propose task-specific meta distillation that simultaneously learns two models in meta-learning: a large teacher model and a small student model. These two models are jointly learned during meta-training. Given a new task during meta-testing, the teacher model is first adapted to this task, then the adapted teacher model is used to guide the adaptation of the student model. The adapted student model is used for final deployment. We demonstrate the effectiveness of our approach in few-shot image classification using model-agnostic meta-learning (MAML). Our proposed method outperforms other alternatives on several benchmark datasets.
• Abstract（参考訳）: コンパクトモデルの少数ショット学習における新しい問題を考える。 メタ学習は、数発の学習で一般的なアプローチである。 メタ学習におけるこれまでの作業は、通常、メタトレーニング中のモデルアーキテクチャが最終配置に使用されるモデルアーキテクチャと同じであると仮定する。 本稿では,この基本的な仮定に挑戦する。 最終的なデプロイメントには、モデルを小さくする必要があります。 しかし、小さなモデルは通常、新しいタスクに効果的に適応するのに十分な能力を持っていません。 通常、メタトレーニングはサーバー上で実行されるので、平均的に大規模なデータセットとメタトレーニング時の広範な計算能力にアクセスできます。 本稿では,大規模教員モデルと小学生モデルという2つのメタラーニングモデルを同時に学習するタスク特化メタ蒸留法を提案する。 これら2つのモデルはメタトレーニング中に共同で学習される。 メタテスト中に新しいタスクが与えられた場合、まず教師モデルは、このタスクに適応し、適応された教師モデルは、学生モデルの適応を導くために使用される。 適応した学生モデルは最終配置に使用される。 モデル非依存メタラーニング(MAML)を用いた画像分類において,本手法の有効性を示す。 提案手法は,いくつかのベンチマークデータセットにおいて,他の手法よりも優れている。

関連論文リスト

• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• Dynamic Kernel Selection for Improved Generalization and Memory Efficiency in Meta-learning [9.176056742068813]
  圧縮CNNモデルを設計するためのタスク固有の動的カーネル選択戦略であるMetaDOCKを提案する。 提案手法は,各タスクごとにネットワークのすべてのカーネルが必要なわけではない,という仮説に基づいている。 提案手法を用いて得られた大容量CNNモデルの同一推定予算に対して,従来のCNNモデルよりも常に優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:09:26Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Meta-Regularization by Enforcing Mutual-Exclusiveness [0.8057006406834467]
  本稿では,メタ学習時の情報フローをモデル設計者が制御できるように,メタ学習モデルの正規化手法を提案する。 提案した正規化関数は,Omniglotデータセット上で$sim$$36%の精度向上を示す。
  論文  参考訳（メタデータ） (2021-01-24T22:57:19Z)
• BI-MAML: Balanced Incremental Approach for Meta Learning [9.245355087256314]
  本稿では,複数のタスクを学習するための新しいバランス付きインクリメンタルモデルAgnostic Meta Learningシステム(BI-MAML)を提案する。 本手法では,従来のタスクを忘れることなく,新たなタスクにモデルを漸進的に適応させるメタ更新ルールを実装している。 本システムでは,数ショットでメタ更新を行い,その達成に成功している。
  論文  参考訳（メタデータ） (2020-06-12T18:28:48Z)
• Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
  評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。 我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
  論文  参考訳（メタデータ） (2020-03-09T20:06:36Z)
• Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks [55.66438591090072]
  メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。 数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
  論文  参考訳（メタデータ） (2020-02-17T03:18:45Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。