論文の概要: Class Incremental Learning via Likelihood Ratio Based Task Prediction

• arxiv url: http://arxiv.org/abs/2309.15048v1
• Date: Tue, 26 Sep 2023 16:25:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 12:53:24.225707
• Title: Class Incremental Learning via Likelihood Ratio Based Task Prediction
• Title（参考訳）: 確率比に基づくタスク予測による授業インクリメンタル学習
• Authors: Haowei Lin, Yijia Shao, Weinan Qian, Ningxin Pan, Yiduo Guo, Bing Liu
• Abstract要約: クラスインクリメンタルラーニング(クラスインクリメンタルラーニング、Class incremental Learning、CIL)は、継続的ラーニングの挑戦的な設定である。 テストサンプル毎にテスト時にタスク識別子(またはタスクID)は提供されない。 各テストサンプルのタスクIDを予測することは難しい問題です。
• 参考スコア（独自算出の注目度）: 20.145128455767587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class incremental learning (CIL) is a challenging setting of continual learning, which learns a series of tasks sequentially. Each task consists of a set of unique classes. The key feature of CIL is that no task identifier (or task-id) is provided at test time for each test sample. Predicting the task-id for each test sample is a challenging problem. An emerging theoretically justified and effective approach is to train a task-specific model for each task in a shared network for all tasks based on a task-incremental learning (TIL) method to deal with forgetting. The model for each task in this approach is an out-of-distribution (OOD) detector rather than a conventional classifier. The OOD detector can perform both within-task (in-distribution (IND)) class prediction and OOD detection. The OOD detection capability is the key for task-id prediction during inference for each test sample. However, this paper argues that using a traditional OOD detector for task-id prediction is sub-optimal because additional information (e.g., the replay data and the learned tasks) available in CIL can be exploited to design a better and principled method for task-id prediction. We call the new method TPLR (Task-id Prediction based on Likelihood Ratio}). TPLR markedly outperforms strong CIL baselines.
• Abstract（参考訳）: クラスインクリメンタルラーニング(クラスインクリメンタルラーニング、Class incremental Learning、CIL)は、一連のタスクを逐次学習する継続的ラーニングの課題である。 各タスクは、一組のユニークなクラスで構成される。 CILの重要な特徴は、各テストサンプルのテスト時にタスク識別子(またはタスクID)が提供されないことである。 各テストサンプルに対するタスクidの予測は、難しい問題である。 理論的に正当化され効果的なアプローチとして、タスクインクリメンタルラーニング(TIL)法に基づいて、タスク毎のタスク固有のモデルを共有ネットワークでトレーニングすることが挙げられる。 このアプローチにおける各タスクのモデルは、従来の分類器ではなく、アウト・オブ・ディストリビューション(OOD)検出器である。 OOD検出器は、in-task(in-distribution(IND))クラス予測とOOD検出の両方を実行することができる。 OOD検出機能は、各テストサンプルの推論中にタスクID予測のキーとなる。 しかし,従来のタスクid予測のためのood検出器を用いることは,cilで利用可能な追加情報(リプレイデータや学習タスクなど)を利用してタスクid予測をより良く原理的に設計できるため,最適ではないと主張する。 提案手法はtplr (task-id prediction based on likelihood ratio}) と呼ばれる。 TPLRは強力なCILベースラインを著しく上回る。

関連論文リスト

• Class Incremental Learning with Task-Specific Batch Normalization and Out-of-Distribution Detection [25.224930928724326]
  本研究では、画像分類のための漸進的な学習に焦点を当て、記憶やプライバシーの制約により古いデータへのアクセスが制限された場合、すべての学習知識の破滅的な忘れ込みを減らす方法について検討する。 漸進的な学習の課題は、可塑性、新しい知識を学ぶ能力、安定性、古い知識を維持する能力の最適なバランスを達成することである。
  論文  参考訳（メタデータ） (2024-11-01T07:54:29Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Active Instruction Tuning: Improving Cross-Task Generalization by Training on Prompt Sensitive Tasks [101.40633115037983]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)を命令付き多種多様なタスクで訓練することにより,印象的なゼロショット一般化を実現する。 ITモデルの性能と一般化性を改善するために、新しいタスクをどのように選択するかは、未解決の問題である。 本稿では,情報的タスクを識別する新しいフレームワークである即時不確実性に基づくアクティブな指導チューニングを提案し,選択したタスク上でモデルをアクティブにチューニングする。
  論文  参考訳（メタデータ） (2023-11-01T04:40:05Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Reinforcement Learning with Success Induced Task Prioritization [68.8204255655161]
  本稿では,自動カリキュラム学習のためのフレームワークであるSuccess induced Task Prioritization (SITP)を紹介する。 アルゴリズムはエージェントに最速の学習を提供するタスクの順序を選択する。 我々は,SITPが他のカリキュラム設計手法と一致するか,あるいは上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-30T12:32:43Z)
• A Multi-Head Model for Continual Learning via Out-of-Distribution Replay [16.189891444511755]
  連続学習(CL)における破滅的忘れ(CF)に対する多くのアプローチが提案されている。 本稿では,MOREと呼ばれるトランスフォーマーネットワークを用いて,タスク毎に個別の分類器(頭部)を構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-08-20T19:17:12Z)
• Evaluating NLP Systems On a Novel Cloze Task: Judging the Plausibility of Possible Fillers in Instructional Texts [2.3449131636069898]
  Cloze Taskは、NLPシステムの言語理解能力を評価するために広く使われているタスクである。 新しいタスクが提案されている: クローズタスクのフィラーワードが良い、中立的、悪い候補であるかどうかを予測する。
  論文  参考訳（メタデータ） (2021-12-03T12:02:52Z)
• TOOD: Task-aligned One-stage Object Detection [41.43371563426291]
  1段階の物体検出は、オブジェクト分類と局所化の2つのサブタスクを最適化することで一般的に実装される。 本稿では,2つのタスクを学習ベースで明示的に整列するタスク整列1段階オブジェクト検出(TOOD)を提案する。 実験はMS-COCOで行われ、TOODはシングルモデル単スケールテストで51.1 APを達成した。
  論文  参考訳（メタデータ） (2021-08-17T17:00:01Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• MC-BERT: Efficient Language Pre-Training via a Meta Controller [96.68140474547602]
  大規模事前学習は計算コストが高い。 事前トレーニングを加速する初期の試みであるELECTRAは、各入力トークンがジェネレータに置き換えられたかどうかを予測する識別モデルを訓練している。 本稿では,MC-BERTというメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T09:22:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。