論文の概要: Selecting task with optimal transport self-supervised learning for
few-shot classification
- arxiv url: http://arxiv.org/abs/2204.00289v1
- Date: Fri, 1 Apr 2022 08:45:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-04 12:59:07.213344
- Title: Selecting task with optimal transport self-supervised learning for
few-shot classification
- Title（参考訳）: 数ショット分類のための最適移動自己教師型学習による選択課題
- Authors: Renjie Xu, Xinghao Yang, Baodi Liu, Kai Zhang, Weifeng Liu
- Abstract要約: Few-Shot分類は、トレーニングプロセスで利用可能なサンプルはわずかである、という問題を解決することを目的としている。
本稿では,Few-Shot 学習のための類似タスクを選択して学習セットを構築するために,OTTS (Optimal Transport Task Selecting) という新しいタスク選択アルゴリズムを提案する。
OTTSは最適な輸送距離を計算してタスク類似度を測定し、自己監督戦略を通じてモデルトレーニングを完了させる。
- 参考スコア（独自算出の注目度）: 15.088213168796772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-Shot classification aims at solving problems that only a few samples are
available in the training process. Due to the lack of samples, researchers
generally employ a set of training tasks from other domains to assist the
target task, where the distribution between assistant tasks and the target task
is usually different. To reduce the distribution gap, several lines of methods
have been proposed, such as data augmentation and domain alignment. However,
one common drawback of these algorithms is that they ignore the similarity task
selection before training. The fundamental problem is to push the auxiliary
tasks close to the target task. In this paper, we propose a novel task
selecting algorithm, named Optimal Transport Task Selecting (OTTS), to
construct a training set by selecting similar tasks for Few-Shot learning.
Specifically, the OTTS measures the task similarity by calculating the optimal
transport distance and completes the model training via a self-supervised
strategy. By utilizing the selected tasks with OTTS, the training process of
Few-Shot learning become more stable and effective. Other proposed methods
including data augmentation and domain alignment can be used in the meantime
with OTTS. We conduct extensive experiments on a variety of datasets, including
MiniImageNet, CIFAR, CUB, Cars, and Places, to evaluate the effectiveness of
OTTS. Experimental results validate that our OTTS outperforms the typical
baselines, i.e., MAML, matchingnet, protonet, by a large margin (averagely
1.72\% accuracy improvement).
- Abstract（参考訳）: Few-Shot分類は、トレーニングプロセスで利用可能なサンプルがわずかである問題を解決することを目的としている。
サンプルが不足しているため、研究者は一般的に他のドメインのトレーニングタスクを使用してターゲットタスクを支援し、アシスタントタスクとターゲットタスクの分布は通常異なる。
分散ギャップを低減するため、データ拡張やドメインアライメントなど、いくつかの手法が提案されている。
しかし、これらのアルゴリズムの共通の欠点は、トレーニング前に類似性タスクの選択を無視していることである。
基本的な問題は、補助タスクを目標タスクに近づけることである。
本稿では,Few-Shot学習に類似したタスクを選択して学習セットを構築するために,OTTS(Optimal Transport Task Selecting)という新しいタスク選択アルゴリズムを提案する。
具体的には、OTTSは最適な輸送距離を計算してタスク類似度を測定し、自己監督戦略を通じてモデルトレーニングを完了させる。
選択したタスクをOTTSで活用することにより、Few-Shot学習のトレーニングプロセスはより安定し、効果的になる。
データ拡張やドメインアライメントを含む他の提案手法はottsと共に使用することができる。
OTTSの有効性を評価するために,MiniImageNet,CIFAR,CUB,Cars,Placesなど,さまざまなデータセットに関する広範な実験を行った。
実験結果から, OTTSはMAML, マッチングネット, プロトネットなどの典型的なベースラインよりも高いマージン(平均1.72倍の精度向上)を達成できた。
関連論文リスト
- Data-Efficient and Robust Task Selection for Meta-Learning [1.4557421099695473]
本稿では,データ効率とロバストタスク選択(DERTS)アルゴリズムを提案する。
DERTSはタスクプールからタスクプールの重み付けされたサブセットを選択し、メタトレーニング段階におけるタスクプールの全勾配の近似誤差を最小化する。
既存のアルゴリズムとは異なり、DERTSはトレーニングのためにアーキテクチャの変更を一切必要とせず、サポートセットとクエリセットの両方でノイズの多いラベルデータを処理できる。
論文 参考訳（メタデータ） (2024-05-11T19:47:27Z) - Episodic-free Task Selection for Few-shot Learning [2.508902852545462]
エピソードトレーニング以外の新しいメタトレーニングフレームワークを提案する。
エピソード・タスクは直接訓練に使用されるのではなく、選択されたエピソード・フリー・タスクの有効性を評価するために用いられる。
実験では、トレーニングタスクセットには、例えば、コントラスト学習や分類など、いくつかの有望なタイプが含まれている。
論文 参考訳（メタデータ） (2024-01-31T10:52:15Z) - Task Selection and Assignment for Multi-modal Multi-task Dialogue Act
Classification with Non-stationary Multi-armed Bandits [11.682678945754837]
マルチタスク学習(MTL)は、関連する補助タスクと共同学習することで、一次タスクの性能を向上させることを目的としている。
これまでの研究では、このようなランダムなタスクの選択は役に立たない可能性があり、パフォーマンスに有害な可能性があることが示唆されている。
本稿では,非定常的マルチアームバンディットに基づくタスクの選択と割り当てを行う手法を提案する。
論文 参考訳（メタデータ） (2023-09-18T14:51:51Z) - Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。
アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。
我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-30T12:32:43Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Meta-learning with an Adaptive Task Scheduler [93.63502984214918]
既存のメタ学習アルゴリズムは、一様確率でランダムにメタトレーニングタスクをサンプリングする。
タスクは、限られた数のメタトレーニングタスクを考えると、ノイズや不均衡に有害である可能性が高い。
メタトレーニングプロセスのための適応タスクスケジューラ(ATS)を提案する。
論文 参考訳（メタデータ） (2021-10-26T22:16:35Z) - Weighted Training for Cross-Task Learning [71.94908559469475]
クロスタスク学習のための重み付きトレーニングアルゴリズムであるTarget-Aware Weighted Training (TAWT)を紹介する。
TAWTは実装が容易で、計算効率が高く、ハイパーパラメータチューニングがほとんど必要とせず、漸近的でない学習理論の保証を享受できることを示す。
副産物として、提案された表現に基づくタスク距離は、クロスタスク学習のいくつかの重要な側面について理論的に原則化された方法で推論することができる。
論文 参考訳（メタデータ） (2021-05-28T20:27:02Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z) - Expert Training: Task Hardness Aware Meta-Learning for Few-Shot
Classification [62.10696018098057]
そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。
タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。
miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
論文 参考訳（メタデータ） (2020-07-13T08:49:00Z) - Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell
Classification [8.998976678920236]
本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。
AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。
提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
論文 参考訳（メタデータ） (2020-07-09T18:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。