論文の概要: Learnability and Algorithm for Continual Learning

• arxiv url: http://arxiv.org/abs/2306.12646v1
• Date: Thu, 22 Jun 2023 03:08:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 15:34:47.971794
• Title: Learnability and Algorithm for Continual Learning
• Title（参考訳）: 連続学習のための学習性とアルゴリズム
• Authors: Gyuhak Kim, Changnan Xiao, Tatsuya Konishi, Bing Liu
• Abstract要約: クラスインクリメンタルラーニング(クラスインクリメンタルラーニング、Class Incremental Learning、CIL)は、クラスや概念の相容れない集合からなる一連のタスクを学習する。 本稿では,CILが学習可能であることを示す。この理論に基づき,新しいCILアルゴリズムも提案する。
• 参考スコア（独自算出の注目度）: 7.7046692574332285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies the challenging continual learning (CL) setting of Class Incremental Learning (CIL). CIL learns a sequence of tasks consisting of disjoint sets of concepts or classes. At any time, a single model is built that can be applied to predict/classify test instances of any classes learned thus far without providing any task related information for each test instance. Although many techniques have been proposed for CIL, they are mostly empirical. It has been shown recently that a strong CIL system needs a strong within-task prediction (WP) and a strong out-of-distribution (OOD) detection for each task. However, it is still not known whether CIL is actually learnable. This paper shows that CIL is learnable. Based on the theory, a new CIL algorithm is also proposed. Experimental results demonstrate its effectiveness.
• Abstract（参考訳）: 本稿では,クラスインクリメンタル学習(cil)の課題継続学習(cl)設定について検討する。 CILは、相容れない概念やクラスからなる一連のタスクを学習する。 いずれにせよ、これまで学んだクラスのテストインスタンスを予測/分類するために、各テストインスタンスにタスク関連の情報を提供することなく、単一のモデルを構築します。 CILには多くの技術が提案されているが、主に経験的である。 最近、強力なcilシステムでは、各タスクに対して強いタスク内予測(wp)と強いout-of-distribution(ood)検出が必要であることが示されている。 しかし、CILが実際に学べるかどうかはまだ分かっていない。 本稿ではCILが学習可能であることを示す。 この理論に基づいて新しいcilアルゴリズムも提案されている。 実験の結果,有効性が示された。

関連論文リスト

• Class Incremental Learning via Likelihood Ratio Based Task Prediction [20.145128455767587]
  新たな理論誘導アプローチは、タスクごとにタスク固有のモデルを、すべてのタスクに対して共有ネットワークでトレーニングすることである。 本稿では,従来のOOD検出器をタスクID予測に利用することは,追加情報を利用することができるため,最適ではないと主張している。 新手法をTPL (Task-id Prediction based on Likelihood Ratio) と呼ぶ。 強いCILベースラインを著しく上回り、破滅的な忘れがほとんどない。
  論文  参考訳（メタデータ） (2023-09-26T16:25:57Z)
• Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
  実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。 本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
  論文  参考訳（メタデータ） (2023-07-02T19:26:58Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• A Theoretical Study on Solving Continual Learning [13.186315474669287]
  本研究は,CIL問題を2つのサブプロブレムに分解できることを示す:内タスク予測(WP)とタスクID予測(TP)である。 さらに、TPはCILとOODを繋ぐOOD(out-of-distribution)検出と相関していることを証明している。 本研究の重要な結論は、WP と TP と OOD の検出が CIL アルゴリズムによって明示的に、あるいは暗黙的に定義されているかどうかにかかわらず、優れた WP と TP と OOD 検出は、優れた CIL 性能のために必要であり、十分であるということである。
  論文  参考訳（メタデータ） (2022-11-04T17:45:55Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Continual Learning Based on OOD Detection and Task Masking [7.7046692574332285]
  本稿では,CLOM(out-of-distriion(OOD)検出とタスクマスキングに基づく新しい統一手法を提案する。 評価の結果,CLOMは既存の最先端のベースラインよりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2022-03-17T17:10:12Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks [23.515930312505954]
  本稿では、ドメインインクリメンタルラーニング(DIL)と呼ばれる特定のCL設定におけるアスペクト感情分類(ASC)タスクの連続的な学習について研究する。 DIL設定は、テスト時にシステムがテストデータが属するタスク/ドメインを知る必要がないため、ASCに特に適している。 重要な新規性は、タスク間の知識伝達と、古いタスクから新しいタスクへの知識蒸留の両方を可能にする、対照的な連続的な学習方法である。
  論文  参考訳（メタデータ） (2021-12-05T23:55:53Z)
• ClaRe: Practical Class Incremental Learning By Remembering Previous Class Representations [9.530976792843495]
  クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。 ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。 ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
  論文  参考訳（メタデータ） (2021-03-29T10:39:42Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。