論文の概要: Beyond Simple Meta-Learning: Multi-Purpose Models for Multi-Domain,
Active and Continual Few-Shot Learning
- arxiv url: http://arxiv.org/abs/2201.05151v1
- Date: Thu, 13 Jan 2022 18:59:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-14 15:06:32.709932
- Title: Beyond Simple Meta-Learning: Multi-Purpose Models for Multi-Domain,
Active and Continual Few-Shot Learning
- Title（参考訳）: シンプルなメタラーニングを超えて:マルチドメイン、アクティブ、連続的なFew-Shot学習のための多目的モデル
- Authors: Peyman Bateni, Jarred Barber, Raghav Goyal, Vaden Masrani, Jan-Willem
van de Meent, Leonid Sigal, Frank Wood
- Abstract要約: 低ラベル方式で動作するモデルの分散感応クラスを提案する。
最初の手法であるSimple CNAPSは階層的に正規化されたマハラノビス距離に基づく分類器を用いる。
我々はさらに、このアプローチをトランスダクティブ学習環境に拡張し、トランスダクティブCNAPSを提案する。
- 参考スコア（独自算出の注目度）: 41.07029317930986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern deep learning requires large-scale extensively labelled datasets for
training. Few-shot learning aims to alleviate this issue by learning
effectively from few labelled examples. In previously proposed few-shot visual
classifiers, it is assumed that the feature manifold, where classifier
decisions are made, has uncorrelated feature dimensions and uniform feature
variance. In this work, we focus on addressing the limitations arising from
this assumption by proposing a variance-sensitive class of models that operates
in a low-label regime. The first method, Simple CNAPS, employs a hierarchically
regularized Mahalanobis-distance based classifier combined with a state of the
art neural adaptive feature extractor to achieve strong performance on
Meta-Dataset, mini-ImageNet and tiered-ImageNet benchmarks. We further extend
this approach to a transductive learning setting, proposing Transductive CNAPS.
This transductive method combines a soft k-means parameter refinement procedure
with a two-step task encoder to achieve improved test-time classification
accuracy using unlabelled data. Transductive CNAPS achieves state of the art
performance on Meta-Dataset. Finally, we explore the use of our methods (Simple
and Transductive) for "out of the box" continual and active learning. Extensive
experiments on large scale benchmarks illustrate robustness and versatility of
this, relatively speaking, simple class of models. All trained model
checkpoints and corresponding source codes have been made publicly available.
- Abstract（参考訳）: 現代のディープラーニングは、トレーニングのために大規模にラベル付きデータセットを必要とする。
少数のラベル付き例から効果的に学習することで、この問題を軽減することを目的としている。
以前提案された数ショットの視覚的分類器では、分類器決定を行う特徴多様体は、非相関な特徴次元と一様特徴分散を持つと仮定される。
本研究は,低ラベル方式で動作するモデルの分散感応クラスを提案することによって,この仮定から生じる制約に対処することに焦点を当てる。
最初の手法であるSimple CNAPSは、階層的に正規化されたマハラノビス距離に基づく分類器と、アートニューラル適応的特徴抽出器の状態を組み合わせて、メタデータセット、ミニイメージネット、タイレッドイメージネットのベンチマークで強力な性能を達成する。
さらに,このアプローチをトランスダクティブ学習に拡張し,トランスダクティブcnapを提案する。
ソフトk平均パラメータ補正手順と2段階タスクエンコーダを組み合わせることで、ラベルなしデータを用いたテスト時間分類精度の向上を図る。
Transductive CNAPSはMeta-Dataset上でのアートパフォーマンスの状態を達成します。
最後に,「アウト・オブ・ザ・ボックス」連続学習とアクティブ学習のための手法(単純かつトランスダクティブ)について検討する。
大規模ベンチマークでの大規模な実験は、比較的単純なモデルの堅牢性と汎用性を示している。
トレーニング済みのモデルチェックポイントと対応するソースコードはすべて公開されている。
関連論文リスト
- LPLgrad: Optimizing Active Learning Through Gradient Norm Sample Selection and Auxiliary Model Training [2.762397703396293]
LPLgrad(Loss Prediction Loss with Gradient Norm)は、モデルの不確実性を効果的に定量化し、画像分類タスクの精度を向上させる。
LPLgradは2つの異なるフェーズで動作する: (i) Em Training Phaseは、メインモデルと補助モデルとを併用して入力特徴の損失を予測することを目的としている。
この二重モデルアプローチは、複雑な入力特徴を抽出し、データから本質的なパターンを効果的に学習する能力を高める。
論文 参考訳（メタデータ） (2024-11-20T18:12:59Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-03-09T17:26:53Z) - Few-shot Learning via Dependency Maximization and Instance Discriminant
Analysis [21.8311401851523]
そこで本研究では,カテゴリ毎にラベル付きデータが極めて少ない新しいオブジェクトの認識をモデルが学習する,数ショットの学習問題について検討する。
本稿では,少数ショット処理に伴うラベルなしデータを利用して,少数ショット性能を向上させるための簡単な手法を提案する。
論文 参考訳（メタデータ） (2021-09-07T02:19:01Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - Multi-scale Adaptive Task Attention Network for Few-Shot Learning [5.861206243996454]
少数ショット学習の目標は、ラベル付きサンプルの少ない未確認カテゴリを分類することである。
本稿では,マルチスケール適応タスク注意ネットワーク(MATANet)を提案する。
論文 参考訳（メタデータ） (2020-11-30T00:36:01Z) - Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。
我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。
我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文 参考訳（メタデータ） (2020-10-01T15:59:31Z) - Few-Shot One-Class Classification via Meta-Learning [22.548520862073023]
本研究は,クラスバランステストデータセットにおける複数ショット学習と1クラス分類(OCC)の交点について検討する。
これは、1クラスのミニバッチで明示的にステップを最適化することで、クラスバランスのテストデータのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2020-07-08T14:19:29Z) - Enhancing Few-Shot Image Classification with Unlabelled Examples [18.03136114355549]
画像分類性能を向上させるために,非ラベルインスタンスを用いたトランスダクティブなメタラーニング手法を開発した。
提案手法は,正規化ニューラルアダプティブ特徴抽出器を組み合わせることで,非ラベルデータを用いたテスト時間分類精度の向上を実現する。
論文 参考訳（メタデータ） (2020-06-17T05:42:47Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳（メタデータ） (2020-05-08T01:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。