論文の概要: Class Incremental Learning via Likelihood Ratio Based Task Prediction
- arxiv url: http://arxiv.org/abs/2309.15048v4
- Date: Wed, 13 Mar 2024 14:24:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 18:27:45.754759
- Title: Class Incremental Learning via Likelihood Ratio Based Task Prediction
- Title（参考訳）: 類比に基づくタスク予測によるクラスインクリメンタル学習
- Authors: Haowei Lin, Yijia Shao, Weinan Qian, Ningxin Pan, Yiduo Guo, Bing Liu
- Abstract要約: 新たな理論誘導アプローチは、タスクごとにタスク固有のモデルを、すべてのタスクに対して共有ネットワークでトレーニングすることである。
本稿では,従来のOOD検出器をタスクID予測に利用することは,追加情報を利用することができるため,最適ではないと主張している。
新手法をTPL (Task-id Prediction based on Likelihood Ratio) と呼ぶ。
強いCILベースラインを著しく上回り、破滅的な忘れがほとんどない。
- 参考スコア（独自算出の注目度）: 20.145128455767587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class incremental learning (CIL) is a challenging setting of continual
learning, which learns a series of tasks sequentially. Each task consists of a
set of unique classes. The key feature of CIL is that no task identifier (or
task-id) is provided at test time. Predicting the task-id for each test sample
is a challenging problem. An emerging theory-guided approach (called TIL+OOD)
is to train a task-specific model for each task in a shared network for all
tasks based on a task-incremental learning (TIL) method to deal with
catastrophic forgetting. The model for each task is an out-of-distribution
(OOD) detector rather than a conventional classifier. The OOD detector can
perform both within-task (in-distribution (IND)) class prediction and OOD
detection. The OOD detection capability is the key to task-id prediction during
inference. However, this paper argues that using a traditional OOD detector for
task-id prediction is sub-optimal because additional information (e.g., the
replay data and the learned tasks) available in CIL can be exploited to design
a better and principled method for task-id prediction. We call the new method
TPL (Task-id Prediction based on Likelihood Ratio). TPL markedly outperforms
strong CIL baselines and has negligible catastrophic forgetting. The code of
TPL is publicly available at https://github.com/linhaowei1/TPL.
- Abstract（参考訳）: クラスインクリメンタルラーニング(クラスインクリメンタルラーニング、Class incremental Learning、CIL)は、一連のタスクを逐次学習する継続的ラーニングの挑戦的な設定である。
各タスクは、一組のユニークなクラスから構成される。
CILの重要な特徴は、テスト時にタスク識別子(またはタスクID)が提供されないことである。
各テストサンプルのタスクIDを予測することは難しい問題です。
新たな理論誘導アプローチ(TIL+OOD)は、タスクインクリメンタルラーニング(TIL)手法に基づいて、タスク毎のタスク固有のモデルを共有ネットワークでトレーニングし、破滅的な忘れ事に対処することである。
各タスクのモデルは従来の分類器ではなく、アウト・オブ・ディストリビューション(OOD)検出器である。
OOD検出器は、in-task(in-distribution(IND))クラス予測とOOD検出の両方を実行することができる。
OOD検出機能は、推論中のタスクID予測の鍵となる。
しかし,本論文では,従来のOOD検出器を用いたタスクID予測は,CILで利用可能な追加情報(例えば,リプレイデータや学習タスク)を利用すれば,タスクID予測のためのより優れた,原則化された手法を設計できるため,サブ最適である,と論じる。
新しい手法をTPL (Task-id Prediction based on Likelihood Ratio) と呼ぶ。
TPLは強いCILベースラインを著しく上回り、破滅的な忘れがほとんどない。
TPLのコードはhttps://github.com/linhaowei1/TPLで公開されている。
関連論文リスト
- Class Incremental Learning with Task-Specific Batch Normalization and Out-of-Distribution Detection [25.224930928724326]
本研究では、画像分類のための漸進的な学習に焦点を当て、記憶やプライバシーの制約により古いデータへのアクセスが制限された場合、すべての学習知識の破滅的な忘れ込みを減らす方法について検討する。
漸進的な学習の課題は、可塑性、新しい知識を学ぶ能力、安定性、古い知識を維持する能力の最適なバランスを達成することである。
論文 参考訳（メタデータ） (2024-11-01T07:54:29Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Active Instruction Tuning: Improving Cross-Task Generalization by
Training on Prompt Sensitive Tasks [101.40633115037983]
インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。
ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。
本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
論文 参考訳（メタデータ） (2023-11-01T04:40:05Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。
アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。
我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
論文 参考訳（メタデータ） (2022-12-30T12:32:43Z) - A Multi-Head Model for Continual Learning via Out-of-Distribution Replay [16.189891444511755]
連続学習(CL)における破滅的忘れ(CF)に対する多くのアプローチが提案されている。
本稿では,MOREと呼ばれるトランスフォーマーネットワークを用いて,タスク毎に個別の分類器(頭部)を構築する手法を提案する。
論文 参考訳（メタデータ） (2022-08-20T19:17:12Z) - Evaluating NLP Systems On a Novel Cloze Task: Judging the Plausibility
of Possible Fillers in Instructional Texts [2.3449131636069898]
Cloze Taskは、NLPシステムの言語理解能力を評価するために広く使われているタスクである。
新しいタスクが提案されている: クローズタスクのフィラーワードが良い、中立的、悪い候補であるかどうかを予測する。
論文 参考訳（メタデータ） (2021-12-03T12:02:52Z) - TOOD: Task-aligned One-stage Object Detection [41.43371563426291]
1段階の物体検出は、オブジェクト分類と局所化の2つのサブタスクを最適化することで一般的に実装される。
本稿では,2つのタスクを学習ベースで明示的に整列するタスク整列1段階オブジェクト検出(TOOD)を提案する。
実験はMS-COCOで行われ、TOODはシングルモデル単スケールテストで51.1 APを達成した。
論文 参考訳（メタデータ） (2021-08-17T17:00:01Z) - Adaptive Task Sampling for Meta-Learning [79.61146834134459]
数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。
一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T03:15:53Z) - MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
大規模事前学習は計算コストが高い。
事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。
本稿では,MC-BERTというメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-10T09:22:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。