論文の概要: MetaKernel: Learning Variational Random Features with Limited Labels
- arxiv url: http://arxiv.org/abs/2105.03781v1
- Date: Sat, 8 May 2021 21:24:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 11:01:06.065058
- Title: MetaKernel: Learning Variational Random Features with Limited Labels
- Title（参考訳）: MetaKernel: 限定ラベルによる変分ランダムな特徴の学習
- Authors: Yingjun Du, Haoliang Sun, Xiantong Zhen, Jun Xu, Yilong Yin, Ling
Shao, Cees G. M. Snoek
- Abstract要約: 少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。
マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
- 参考スコア（独自算出の注目度）: 120.90737681252594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Few-shot learning deals with the fundamental and challenging problem of
learning from a few annotated samples, while being able to generalize well on
new tasks. The crux of few-shot learning is to extract prior knowledge from
related tasks to enable fast adaptation to a new task with a limited amount of
data. In this paper, we propose meta-learning kernels with random Fourier
features for few-shot learning, we call MetaKernel. Specifically, we propose
learning variational random features in a data-driven manner to obtain
task-specific kernels by leveraging the shared knowledge provided by related
tasks in a meta-learning setting. We treat the random feature basis as the
latent variable, which is estimated by variational inference. The shared
knowledge from related tasks is incorporated into a context inference of the
posterior, which we achieve via a long-short term memory module. To establish
more expressive kernels, we deploy conditional normalizing flows based on
coupling layers to achieve a richer posterior distribution over random Fourier
bases. The resultant kernels are more informative and discriminative, which
further improves the few-shot learning. To evaluate our method, we conduct
extensive experiments on both few-shot image classification and regression
tasks. A thorough ablation study demonstrates that the effectiveness of each
introduced component in our method. The benchmark results on fourteen datasets
demonstrate MetaKernel consistently delivers at least comparable and often
better performance than state-of-the-art alternatives.
- Abstract（参考訳）: 少数のショット学習は、いくつかの注釈付きサンプルから学習する基礎的かつ困難な問題に対処すると同時に、新しいタスクをうまく一般化することができる。
少数ショット学習の要点は、関連するタスクから事前の知識を抽出し、限られたデータ量で新しいタスクに素早く適応できるようにすることである。
本稿では,メタカーネル(MetaKernel)と呼ぶ,ランダムなフーリエ機能を備えたメタ学習カーネルを提案する。
具体的には,メタラーニング環境において,関連するタスクによって提供される共有知識を活用し,タスク固有のカーネルを得るために,データ駆動方式で変分的ランダム特徴の学習を提案する。
確率的特徴基底を潜在変数として扱い, 変分推論によって推定する。
関連するタスクからの共有知識は、長期記憶モジュールを通じて達成される後部のコンテキスト推論に組み込まれている。
より表現力のあるカーネルを確立するために,結合層に基づく条件付き正規化フローをデプロイし,ランダムなフーリエベース上でよりリッチな後部分布を実現する。
結果として得られるカーネルは、より有益で差別的であり、わずかな学習をさらに改善する。
提案手法を評価するために,少数ショット画像分類と回帰処理の両方について広範な実験を行った。
徹底的なアブレーション研究により,本手法における各成分の有効性が示された。
14のデータセットのベンチマーク結果は、MetaKernelが、最先端の代替よりも、少なくとも同等で、しばしば優れたパフォーマンスを一貫して提供することを示す。
関連論文リスト
- Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。
1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。
提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
論文 参考訳（メタデータ） (2024-02-02T09:33:07Z) - Generative Kernel Continual learning [117.79080100313722]
本稿では、生成モデルとカーネル間の相乗効果を利用して連続学習を行う、生成カーネル連続学習を紹介する。
生成モデルは、カーネル学習のための代表サンプルを生成することができ、カーネル連続学習におけるメモリ依存を取り除くことができる。
コントリビューションの能力とメリットを示すために,広く利用されている3つの連続学習ベンチマークについて広範な実験を行った。
論文 参考訳（メタデータ） (2021-12-26T16:02:10Z) - Squeezing Backbone Feature Distributions to the Max for Efficient
Few-Shot Learning [3.1153758106426603]
ラベル付きサンプルの少ない使用によって生じる不確実性のため、ほとんどショット分類が難しい問題である。
本稿では,特徴ベクトルをガウス分布に近づけるように処理するトランスファーベース手法を提案する。
また,学習中に未学習のサンプルが利用可能となる多段階的数ショット学習では,達成された性能をさらに向上させる最適なトランスポートインスピレーションアルゴリズムも導入する。
論文 参考訳（メタデータ） (2021-10-18T16:29:17Z) - Kernel Continual Learning [117.79080100313722]
カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。
エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。
タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
論文 参考訳（メタデータ） (2021-07-12T22:09:30Z) - Contrastive learning of strong-mixing continuous-time stochastic
processes [53.82893653745542]
コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。
拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
論文 参考訳（メタデータ） (2021-03-03T23:06:47Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z) - Learning to Learn Kernels with Variational Random Features [118.09565227041844]
メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。
変分推論問題としてメタVRFの最適化を定式化する。
MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
論文 参考訳（メタデータ） (2020-06-11T18:05:29Z) - XtarNet: Learning to Extract Task-Adaptive Representation for
Incremental Few-Shot Learning [24.144499302568565]
本稿では,タスク適応型表現(TAR)を抽出し,段階的な数ショット学習を容易にするXtarNetを提案する。
TARには、新規カテゴリとベースカテゴリの両方を分類するための効果的な情報が含まれている。
XtarNetは、最先端のインクリメンタルな数ショット学習パフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-03-19T04:02:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。