論文の概要: Tf-GCZSL: Task-Free Generalized Continual Zero-Shot Learning
- arxiv url: http://arxiv.org/abs/2103.10741v1
- Date: Fri, 19 Mar 2021 11:24:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 14:44:48.675473
- Title: Tf-GCZSL: Task-Free Generalized Continual Zero-Shot Learning
- Title（参考訳）: Tf-GCZSL:タスクフリーの連続ゼロショット学習
- Authors: Chandan Gautam, Sethupathy Parameswaran, Ashish Mishra, Suresh
Sundaram
- Abstract要約: ゼロショット学習(ZSL)の文献で提案される手法は、通常オフライン学習に適しており、連続的なストリーミングデータから継続的に学習することはできない。
本稿では,連続学習中にタスク情報を必要としないタスクフリー(タスク非依存)CZSL手法を提案する。
- 参考スコア（独自算出の注目度）: 7.909034037183046
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Methods proposed in the literature for zero-shot learning (ZSL) are typically
suitable for offline learning and cannot continually learn from sequential
streaming data. The sequential data comes in the form of tasks during training.
Recently, a few attempts have been made to handle this issue and develop
continual ZSL (CZSL) methods. However, these CZSL methods require clear
task-boundary information between the tasks during training, which is not
practically possible. This paper proposes a task-free (i.e., task-agnostic)
CZSL method, which does not require any task information during continual
learning. The proposed task-free CZSL method employs a variational autoencoder
(VAE) for performing ZSL. To develop the CZSL method, we combine the concept of
experience replay with knowledge distillation and regularization. Here,
knowledge distillation is performed using the training sample's dark knowledge,
which essentially helps overcome the catastrophic forgetting issue. Further, it
is enabled for task-free learning using short-term memory. Finally, a
classifier is trained on the synthetic features generated at the latent space
of the VAE. Moreover, the experiments are conducted in a challenging and
practical ZSL setup, i.e., generalized ZSL (GZSL). These experiments are
conducted for two kinds of single-head continual learning settings: (i) mild
setting-: task-boundary is known only during training but not during testing;
(ii) strict setting-: task-boundary is not known at training, as well as
testing. Experimental results on five benchmark datasets exhibit the validity
of the approach for CZSL.
- Abstract（参考訳）: ゼロショット学習(ZSL)の文献で提案される手法は、通常オフライン学習に適しており、連続的なストリーミングデータから継続的に学習することはできない。
シーケンシャルデータは、トレーニング中のタスクの形式で提供される。
近年,この問題に対処し,連続ZSL(CZSL)法を開発する試みがいくつか行われている。
しかし、これらのCZSL法は、訓練中にタスク間の明確なタスク境界情報を必要とする。
本稿では,連続学習中にタスク情報を必要としないタスクフリー(タスク非依存)CZSL手法を提案する。
タスクフリーなCZSL法では,ZSLの実行に可変オートエンコーダ(VAE)を用いる。
CZSL法を開発するために,経験リプレイの概念と知識蒸留と正規化を組み合わせた。
ここで、トレーニングサンプルの暗黒知識を用いて知識蒸留を行い、これは本質的に壊滅的な忘れる問題を克服するのに役立つ。
さらに、短期記憶を用いたタスクフリー学習が可能となる。
最後に、VAEの潜伏空間で生成された合成特徴に基づいて分類器を訓練する。
さらに、実験は困難で実用的なZSL、すなわち一般化ZSL(GZSL)で実施される。
これらの実験は、2種類の単頭連続学習環境で実施される: (i) 軽度な設定-: タスク境界は訓練中のみに知られ、テスト中は知られていない; (ii) 厳格な設定-: タスク境界は訓練中だけでなくテスト中にも知られていない。
5つのベンチマークデータセットの実験結果は、CZSLのアプローチの有効性を示している。
関連論文リスト
- Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects [84.6945070729684]
自己教師付き学習(SSL)は、最近、様々な時系列タスクで印象的なパフォーマンスを達成した。
この記事では、時系列データに対する最先端のSSLメソッドについてレビューする。
論文 参考訳（メタデータ） (2023-06-16T18:23:10Z) - Improving Open-Set Semi-Supervised Learning with Self-Supervision [13.944469874692459]
オープンセット半教師あり学習(OSSL)は、半教師あり学習における実践的なシナリオを具現化する。
我々は,自己スーパービジョンを通じて,ラベルのないすべてのデータから学習を容易にするOSSLフレームワークを提案する。
提案手法は, 評価されたベンチマーク問題の多くに対して, 最先端の結果をもたらす。
論文 参考訳（メタデータ） (2023-01-24T16:46:37Z) - A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends [82.64268080902742]
自己教師付き学習(SSL)は、ラベル付きラベルを頼らずにラベル付きデータから識別的特徴を学習することを目的としている。
SSLは最近大きな注目を集め、多くの関連するアルゴリズムの開発に繋がった。
本稿では,アルゴリズム的側面,アプリケーション領域,3つの重要なトレンド,オープンな研究課題を含む,多様なSSL手法のレビューを行う。
論文 参考訳（メタデータ） (2023-01-13T14:41:05Z) - OpenLDN: Learning to Discover Novel Classes for Open-World
Semi-Supervised Learning [110.40285771431687]
半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。
最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。
この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
論文 参考訳（メタデータ） (2022-07-05T18:51:05Z) - DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文 参考訳（メタデータ） (2022-03-17T02:38:49Z) - Learning to Prompt for Continual Learning [34.609384246149325]
本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。
本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。
目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
論文 参考訳（メタデータ） (2021-12-16T06:17:07Z) - A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。
本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
論文 参考訳（メタデータ） (2021-10-21T13:25:52Z) - Self-supervised Regularization for Text Classification [14.824073299035675]
多くの実世界の問題において、分類モデルの訓練用テキスト数は限られており、これらのモデルは過度に適合する傾向にある。
自己監視型学習(SSL)に基づくデータ依存正規化手法であるSSL-Regを提案する。
SSLは、人間提供のラベルを使用せずに入力データの補助タスクを定義する教師なしの学習アプローチです。
論文 参考訳（メタデータ） (2021-03-09T05:35:52Z) - End-to-end Generative Zero-shot Learning via Few-shot Learning [76.9964261884635]
ゼロショット学習(ZSL)の最先端アプローチでは、生成ネットをトレーニングし、提供されたメタデータに条件付きサンプルを合成する。
本稿では,このような手法をバックボーンとして使用し,合成した出力をFew-Shot Learningアルゴリズムに供給するエンドツーエンド生成ZSLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-08T17:35:37Z) - Generative Replay-based Continual Zero-Shot Learning [7.909034037183046]
再生再生型連続ZSL(GRCZSL)を開発した。
提案手法は従来のZSLにストリーミングデータから学び、以前のタスクの経験を忘れることなく新しい知識を得ることができる。
GRZSL法は,実世界の問題設定をシミュレートした連続学習の単一ヘッド設定のために開発された。
論文 参考訳（メタデータ） (2021-01-22T00:03:34Z) - Generalized Continual Zero-Shot Learning [7.097782028036196]
ゼロショット学習(ZSL)は、クラス記述に基づいて、見知らぬクラスから見つからないクラスに知識を移すことによって、目に見えないクラスを分類することを目的としている。
本稿では,タスクの形式でクラスが順次到着するZSLについて,より汎用的で実用的な設定を提案する。
我々は、知識蒸留と、それ以前のタスクからの少数のサンプルの保存と再生を、小さなエピソードメモリを用いて行っている。
論文 参考訳（メタデータ） (2020-11-17T08:47:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。