論文の概要: Learning to Imagine: Diversify Memory for Incremental Learning using Unlabeled Data

• arxiv url: http://arxiv.org/abs/2204.08932v1
• Date: Tue, 19 Apr 2022 15:15:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 14:48:57.737627
• Title: Learning to Imagine: Diversify Memory for Incremental Learning using Unlabeled Data
• Title（参考訳）: 想像への学習: ラベルなしデータを用いたインクリメンタルラーニングのためのメモリの多様化
• Authors: Yu-Ming Tang, Yi-Xing Peng, Wei-Shi Zheng
• Abstract要約: 本研究では,多様な特徴を適応的に生成することで,経験を多様化する学習可能な特徴生成装置を開発する。 生成したサンプルを前例とセマンティックに整合させるために,意味的コントラスト学習を導入する。 提案手法は, 余分な推論コストを伴わず, 2つのベンチマークで最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 69.30452751012568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural network (DNN) suffers from catastrophic forgetting when learning incrementally, which greatly limits its applications. Although maintaining a handful of samples (called `exemplars`) of each task could alleviate forgetting to some extent, existing methods are still limited by the small number of exemplars since these exemplars are too few to carry enough task-specific knowledge, and therefore the forgetting remains. To overcome this problem, we propose to `imagine` diverse counterparts of given exemplars referring to the abundant semantic-irrelevant information from unlabeled data. Specifically, we develop a learnable feature generator to diversify exemplars by adaptively generating diverse counterparts of exemplars based on semantic information from exemplars and semantically-irrelevant information from unlabeled data. We introduce semantic contrastive learning to enforce the generated samples to be semantic consistent with exemplars and perform semanticdecoupling contrastive learning to encourage diversity of generated samples. The diverse generated samples could effectively prevent DNN from forgetting when learning new tasks. Our method does not bring any extra inference cost and outperforms state-of-the-art methods on two benchmarks CIFAR-100 and ImageNet-Subset by a clear margin.
• Abstract（参考訳）: deep neural network(dnn)は、漸進的に学習するときに壊滅的な忘れがちだ。 各タスクの少数のサンプル(例題(exemplars)と呼ばれる)を維持することで、ある程度の忘れを軽減できるが、既存のメソッドは、これらの例題がタスク固有の知識を十分に持てるには不十分であるため、少数の例題によって制限されている。 この問題を解決するために,ラベルのないデータから豊富な意味非関連情報を参照して,与えられた例の多様な特徴を「想像する」ことを提案する。 具体的には,実例からの意味情報やラベルなしデータから意味的無関係な情報に基づいて,多種多様な実例を適応的に生成することにより,実例を多様化する学習可能な特徴生成器を開発した。 本稿では,生成したサンプルを例示と一致させるように強制する意味的コントラスト学習と,生成したサンプルの多様性を促進するための意味分離コントラスト学習を提案する。 多様な生成されたサンプルは、DNNが新しいタスクを学ぶときに忘れるのを効果的に防ぐことができる。 提案手法は, CIFAR-100 と ImageNet-Subset の2つのベンチマークにおいて, 余分な推論コストを伴わず, 最先端の手法より優れている。

関連論文リスト

• Improve Meta-learning for Few-Shot Text Classification with All You Can Acquire from the Tasks [10.556477506959888]
  既存の手法は、しばしばサポートセットのサンプルから正確なクラスプロトタイプを描くのに困難に遭遇する。 近年のアプローチでは、外部知識や事前訓練された言語モデルを組み込んでデータを拡張しようとするが、追加のリソースが必要になる。 本稿では,タスク自体の情報を適切に活用した新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-10-14T12:47:11Z)
• Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling [6.771578432805963]
  アクティブラーニングは、ラベルなしサンプルの選択を自動化することで、データラベリングに関わる労力を軽減することを目的としている。 トレーニング中に大量のラベルのないデータの使用を大幅に改善する新しい手法を導入する。 様々な画像分類およびセグメンテーションベンチマークデータセットにおける技術状況に対するアプローチの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-23T00:35:07Z)
• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Multi-Label Knowledge Distillation [86.03990467785312]
  本稿では,新しい多ラベル知識蒸留法を提案する。 一方、マルチラベル学習問題をバイナリ分類問題に分割することにより、ロジットからの情報的意味知識を利用する。 一方,ラベルワイド埋め込みの構造情報を活用することにより,学習した特徴表現の識別性を向上する。
  論文  参考訳（メタデータ） (2023-08-12T03:19:08Z)
• BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
  本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。 我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
  論文  参考訳（メタデータ） (2022-03-03T05:31:33Z)
• Latent-Insensitive Autoencoders for Anomaly Detection and Class-Incremental Learning [0.0]
  我々は、類似ドメインからのラベルなしデータを負の例として用いて、正規のオートエンコーダの潜伏層(ブートネック)を形成するLatent-Insensitive Autoencoder (LIS-AE)を紹介した。 本稿では,クラス毎に異なる潜在層を追加して,クラス増分学習を複数の異常検出タスクとして扱うとともに,クラス増分学習を負の例として,各潜在層を形作る。
  論文  参考訳（メタデータ） (2021-10-25T16:53:49Z)
• Learning with Different Amounts of Annotation: From Zero to Many Labels [19.869498599986006]
  NLPシステムのトレーニングは通常、例ごとに1つの人間ラベルを持つ注釈付きデータへのアクセスを前提としている。 我々は、トレーニング例の小さなサブセットに対して、サンプル毎に複数のラベルを割り当てる、新しいアノテーション分布スキームについて検討する。 このような複数ラベルの例を、より少ない例に注釈をつけるコストで導入することは、自然言語推論タスクとエンティティ型付けタスクに明らかな利益をもたらす。
  論文  参考訳（メタデータ） (2021-09-09T16:48:41Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。