論文の概要: Dealing with Cross-Task Class Discrimination in Online Continual
Learning
- arxiv url: http://arxiv.org/abs/2305.14657v1
- Date: Wed, 24 May 2023 02:52:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 20:30:50.671159
- Title: Dealing with Cross-Task Class Discrimination in Online Continual
Learning
- Title(参考訳): オンライン連続学習におけるクロスタスククラス識別の扱い
- Authors: Yiduo Guo, Bing Liu, Dongyan Zhao
- Abstract要約: 本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。
新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。
リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。
本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
- 参考スコア(独自算出の注目度): 54.31411109376545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing continual learning (CL) research regards catastrophic forgetting
(CF) as almost the only challenge. This paper argues for another challenge in
class-incremental learning (CIL), which we call cross-task class discrimination
(CTCD),~i.e., how to establish decision boundaries between the classes of the
new task and old tasks with no (or limited) access to the old task data. CTCD
is implicitly and partially dealt with by replay-based methods. A replay method
saves a small amount of data (replay data) from previous tasks. When a batch of
current task data arrives, the system jointly trains the new data and some
sampled replay data. The replay data enables the system to partially learn the
decision boundaries between the new classes and the old classes as the amount
of the saved data is small. However, this paper argues that the replay approach
also has a dynamic training bias issue which reduces the effectiveness of the
replay data in solving the CTCD problem. A novel optimization objective with a
gradient-based adaptive method is proposed to dynamically deal with the problem
in the online CL process. Experimental results show that the new method
achieves much better results in online CL.
- Abstract(参考訳): 既存の継続学習(CL)研究は、破滅的な忘れ(CF)をほとんど唯一の課題とみなしている。
本稿では,クラス増分学習(CIL)における別の課題として,クロスタスククラス差別(CTCD),すなわち,新しいタスクのクラスと古いタスク間の決定境界を,古いタスクデータに全く(あるいは限定的に)アクセスせずに確立する方法を挙げる。
CTCDは、リプレイベースの方法によって暗黙的に部分的に扱われる。
リプレイメソッドは、前のタスクから少量のデータ(再生データ)を保存します。
現在のタスクデータのバッチが到着すると、システムは新しいデータといくつかのサンプル再生データを共同でトレーニングする。
リプレイデータにより、保存されたデータの量が少ないため、システムは新しいクラスと古いクラスの間の決定境界を部分的に学習することができる。
しかし,本研究では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性が低下すると主張している。
オンラインCLプロセスの問題を動的に扱うために,勾配に基づく適応手法を用いた新しい最適化手法を提案する。
実験の結果,オンラインCLでは,新しい手法の方がはるかに優れた結果が得られることがわかった。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳(メタデータ) (2024-01-07T18:12:20Z) - Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。
PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。
実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
論文 参考訳(メタデータ) (2023-10-16T13:59:56Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Offline Experience Replay for Continual Offline Reinforcement Learning [18.744638194399446]
エージェントには、事前にコンパイルされたオフラインデータセットのシーケンスを通じて、新たなスキルを継続的に学習することが望ましい。
本稿では、エージェントが一連のオフライン強化学習タスクを学習する、新しい設定である連続オフライン強化学習(CORL)を定式化する。
本稿では,リプレイバッファを構築するためのモデルベースエクスペリエンス選択手法を提案する。
論文 参考訳(メタデータ) (2023-05-23T08:16:44Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。
vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。
本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
論文 参考訳(メタデータ) (2022-01-23T22:14:17Z) - Online Continual Learning Via Candidates Voting [7.704949298975352]
クラス増分設定下でのオンライン連続学習に有効でメモリ効率のよい手法を提案する。
提案手法は, CIFAR-10, CIFAR-100, CORE-50など, オンライン連続学習のためのベンチマークデータセットを用いて, 最適な結果を得る。
論文 参考訳(メタデータ) (2021-10-17T15:45:32Z) - An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。
いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。
連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
論文 参考訳(メタデータ) (2021-08-15T15:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。