論文の概要: Diversity Helps: Unsupervised Few-shot Learning via Distribution
Shift-based Data Augmentation
- arxiv url: http://arxiv.org/abs/2004.05805v2
- Date: Thu, 17 Sep 2020 06:00:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 00:11:57.065212
- Title: Diversity Helps: Unsupervised Few-shot Learning via Distribution
Shift-based Data Augmentation
- Title（参考訳）: 多様性の助け:分散シフトに基づくデータ拡張による教師なしFew-shot学習
- Authors: Tiexin Qin and Wenbin Li and Yinghuan Shi and Yang Gao
- Abstract要約: ほんの少しのトレーニング例があれば、新しい概念を学ぶことが目的だ。
本稿では、分散シフトに基づくデータ拡張による教師なしFew-shot Learningと呼ばれる新しいフレームワークを開発する。
実験では、ULDAによって学習された少数ショットモデルにより、より優れた一般化性能が得られる。
- 参考スコア（独自算出の注目度）: 21.16237189370515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot learning aims to learn a new concept when only a few training
examples are available, which has been extensively explored in recent years.
However, most of the current works heavily rely on a large-scale labeled
auxiliary set to train their models in an episodic-training paradigm. Such a
kind of supervised setting basically limits the widespread use of few-shot
learning algorithms. Instead, in this paper, we develop a novel framework
called Unsupervised Few-shot Learning via Distribution Shift-based Data
Augmentation (ULDA), which pays attention to the distribution diversity inside
each constructed pretext few-shot task when using data augmentation.
Importantly, we highlight the value and importance of the distribution
diversity in the augmentation-based pretext few-shot tasks, which can
effectively alleviate the overfitting problem and make the few-shot model learn
more robust feature representations. In ULDA, we systemically investigate the
effects of different augmentation techniques and propose to strengthen the
distribution diversity (or difference) between the query set and support set in
each few-shot task, by augmenting these two sets diversely (i.e., distribution
shifting). In this way, even incorporated with simple augmentation techniques
(e.g., random crop, color jittering, or rotation), our ULDA can produce a
significant improvement. In the experiments, few-shot models learned by ULDA
can achieve superior generalization performance and obtain state-of-the-art
results in a variety of established few-shot learning tasks on Omniglot and
miniImageNet. The source code is available in
https://github.com/WonderSeven/ULDA.
- Abstract（参考訳）: few-shot learningは、いくつかのトレーニング例しか利用できない新しいコンセプトを学ぶことを目的としている。
しかしながら、現在の研究の多くは、エピソード訓練パラダイムでモデルをトレーニングするための大規模ラベル付き補助セットに大きく依存している。
このような教師付きセッティングは基本的に、数発の学習アルゴリズムの広範使用を制限する。
そこで本研究では,データ拡張を行う際に,構築済みのプレテキストにおける分散の多様性に留意する,Unsupervised Few-shot Learning via Distribution Shift-based Data Augmentation (ULDA) という新しいフレームワークを開発する。
重要なことは、増補型プレテクストのプレショットタスクにおける分布の多様性の価値と重要性を強調し、オーバーフィット問題を効果的に軽減し、少数ショットモデルがより堅牢な特徴表現を学習できるようにすることである。
ULDAでは,異なる拡張手法の効果を体系的に検討し,これらの2つのセットを多角化することにより,クエリセットと各数ショットタスクにおけるサポートセットの分散多様性(あるいは差分)を強化することを提案する。
このように、単純な拡張技術(ランダム作物、カラージッタリング、回転など)を組み込んだとしても、我々のuldaは大幅に改善することができる。
実験では,Omniglot と miniImageNet 上で,ULDA が学習した少数ショットモデルにより,より優れた一般化性能が得られ,最先端の学習結果が得られる。
ソースコードはhttps://github.com/wonderseven/ulda。
関連論文リスト
- Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。
DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。
そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
論文 参考訳（メタデータ） (2023-11-23T15:47:33Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳（メタデータ） (2023-10-03T17:37:52Z) - Detail Reinforcement Diffusion Model: Augmentation Fine-Grained Visual Categorization in Few-Shot Conditions [11.121652649243119]
拡散モデルは、データ生成において顕著な多様性のため、データ拡張において広く採用されている。
詳細強化拡散モデル(DRDM)と呼ばれる新しい手法を提案する。
大規模モデルの豊富な知識を微粒化に活用し、識別的意味的組換え(DSR)と空間的知識参照(SKR)の2つの重要な構成要素を含む。
論文 参考訳（メタデータ） (2023-09-15T01:28:59Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z) - Generalizable Low-Resource Activity Recognition with Diverse and
Discriminative Representation Learning [24.36351102003414]
HAR(Human Activity Recognition)は、人間のセンサーの読み取りから動作パターンを特定することに焦点を当てた時系列分類タスクである。
一般化可能な低リソースHARのためのDDLearn(Diverse and Discriminative Expression Learning)という新しい手法を提案する。
平均精度は9.5%向上した。
論文 参考訳（メタデータ） (2023-05-25T08:24:22Z) - GDC- Generalized Distribution Calibration for Few-Shot Learning [5.076419064097734]
大規模なラベル付きデータセットを組み立てるのにかなりの時間と労力を要するため、機械学習において重要な問題となるショットラーニングはほとんどない。
ほとんどの少数ショット学習アルゴリズムは、2つの制限の1つに悩まされている。
そこで本研究では,全大クラスの重み付きランダム変数として分類する際,少数ショット分布を推定する一般サンプリング手法を提案する。
論文 参考訳（メタデータ） (2022-04-11T16:22:53Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - Exploring the Diversity and Invariance in Yourself for Visual
Pre-Training Task [192.74445148376037]
自己指導型学習法は視覚前訓練において顕著な成功を収めた。
これらの手法は、限られた領域のみに焦点を当てたり、抽出された特徴を各画像内の全く異なる領域に当てはめることはほぼ同じである。
本稿では,自身のE-DIYにおける多様性と不変性を探究する。
論文 参考訳（メタデータ） (2021-06-01T14:52:36Z) - MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。
マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
論文 参考訳（メタデータ） (2021-05-08T21:24:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。