論文の概要: Prior-Free Continual Learning with Unlabeled Data in the Wild
- arxiv url: http://arxiv.org/abs/2310.10417v1
- Date: Mon, 16 Oct 2023 13:59:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 14:06:46.345440
- Title: Prior-Free Continual Learning with Unlabeled Data in the Wild
- Title(参考訳): 野生におけるラベルなしデータによる事前学習
- Authors: Tao Zhuo, Zhiyong Cheng, Hehe Fan, and Mohan Kankanhalli
- Abstract要約: 本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。
PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。
実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
- 参考スコア(独自算出の注目度): 24.14279172551939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Learning (CL) aims to incrementally update a trained model on new
tasks without forgetting the acquired knowledge of old ones. Existing CL
methods usually reduce forgetting with task priors, \ie using task identity or
a subset of previously seen samples for model training. However, these methods
would be infeasible when such priors are unknown in real-world applications. To
address this fundamental but seldom-studied problem, we propose a Prior-Free
Continual Learning (PFCL) method, which learns new tasks without knowing the
task identity or any previous data. First, based on a fixed single-head
architecture, we eliminate the need for task identity to select the
task-specific output head. Second, we employ a regularization-based strategy
for consistent predictions between the new and old models, avoiding revisiting
previous samples. However, using this strategy alone often performs poorly in
class-incremental scenarios, particularly for a long sequence of tasks. By
analyzing the effectiveness and limitations of conventional
regularization-based methods, we propose enhancing model consistency with an
auxiliary unlabeled dataset additionally. Moreover, since some auxiliary data
may degrade the performance, we further develop a reliable sample selection
strategy to obtain consistent performance improvement. Extensive experiments on
multiple image classification benchmark datasets show that our PFCL method
significantly mitigates forgetting in all three learning scenarios.
Furthermore, when compared to the most recent rehearsal-based methods that
replay a limited number of previous samples, PFCL achieves competitive
accuracy. Our code is available at: https://github.com/visiontao/pfcl
- Abstract(参考訳): 継続的学習(CL)は、古いタスクの知識を忘れずに、新しいタスクに関するトレーニングされたモデルを漸進的に更新することを目的としている。
既存のclメソッドは、通常、タスクの優先順位を忘れたり、タスクのidを使ったり、モデルトレーニングで見たサンプルのサブセットを小さくする。
しかし、そのような前処理が現実世界のアプリケーションで未知である場合、これらのメソッドは実現不可能である。
そこで本研究では,タスクの同一性や過去のデータを知ることなく新しいタスクを学習する事前自由連続学習(pfcl)手法を提案する。
まず、固定された単一ヘッドアーキテクチャに基づいて、タスク固有の出力ヘッドを選択するタスクIDを不要にする。
第二に、新しいモデルと古いモデルの間で一貫した予測のために正規化ベースの戦略を採用し、以前のサンプルの再検討を避ける。
しかし、この戦略だけでは、特に長い一連のタスクにおいて、クラスインクリメンタルなシナリオではうまく機能しないことが多い。
従来の正規化手法の有効性と限界を解析し、補助的なラベル付きデータセットによるモデル一貫性の強化を提案する。
また,補助データによっては性能が低下する場合があるため,より信頼性の高いサンプル選択戦略を開発し,一貫した性能向上を実現する。
複数の画像分類ベンチマークデータセットに対する大規模な実験により、PFCL法は3つの学習シナリオすべてにおいて忘れを著しく軽減することが示された。
さらに,従来のサンプルをリプレイする最近のリハーサル法と比較すると,PFCLは競争精度が向上する。
私たちのコードは、https://github.com/visiontao/pfclで利用可能です。
関連論文リスト
- Have Seen Me Before? Automating Dataset Updates Towards Reliable and
Timely Evaluation [59.91488389687633]
大きな言語モデル(LLM)は、ますます深刻な評価課題に直面しています。
本稿では,信頼性とタイムリーな評価のために,データセットの更新を自動化することを提案する。
論文 参考訳(メタデータ) (2024-02-19T07:15:59Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Prototype-Sample Relation Distillation: Towards Replay-Free Continual
Learning [14.462797749666992]
本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。
本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。
この手法はタスクインクリメンタル設定における最先端性能を得る。
論文 参考訳(メタデータ) (2023-03-26T16:35:45Z) - A Multi-Head Model for Continual Learning via Out-of-Distribution Replay [16.189891444511755]
連続学習(CL)における破滅的忘れ(CF)に対する多くのアプローチが提案されている。
本稿では,MOREと呼ばれるトランスフォーマーネットワークを用いて,タスク毎に個別の分類器(頭部)を構築する手法を提案する。
論文 参考訳(メタデータ) (2022-08-20T19:17:12Z) - Continual Few-shot Relation Learning via Embedding Space Regularization
and Data Augmentation [4.111899441919165]
従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。
埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。
提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
論文 参考訳(メタデータ) (2022-03-04T05:19:09Z) - vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。
vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。
本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
論文 参考訳(メタデータ) (2022-01-23T22:14:17Z) - Bridging Non Co-occurrence with Unlabeled In-the-wild Data for
Incremental Object Detection [56.22467011292147]
物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。
有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。
そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
論文 参考訳(メタデータ) (2021-10-28T10:57:25Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳(メタデータ) (2020-04-21T15:20:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。