論文の概要: A Theoretical Study on Solving Continual Learning
- arxiv url: http://arxiv.org/abs/2211.02633v1
- Date: Fri, 4 Nov 2022 17:45:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 15:51:32.924996
- Title: A Theoretical Study on Solving Continual Learning
- Title(参考訳): 連続学習の解決に関する理論的研究
- Authors: Gyuhak Kim, Changnan Xiao, Tatsuya Konishi, Zixuan Ke, Bing Liu
- Abstract要約: 本研究は,CIL問題を2つのサブプロブレムに分解できることを示す:内タスク予測(WP)とタスクID予測(TP)である。
さらに、TPはCILとOODを繋ぐOOD(out-of-distribution)検出と相関していることを証明している。
本研究の重要な結論は、WP と TP と OOD の検出が CIL アルゴリズムによって明示的に、あるいは暗黙的に定義されているかどうかにかかわらず、優れた WP と TP と OOD 検出は、優れた CIL 性能のために必要であり、十分であるということである。
- 参考スコア(独自算出の注目度): 13.186315474669287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning (CL) learns a sequence of tasks incrementally. There are
two popular CL settings, class incremental learning (CIL) and task incremental
learning (TIL). A major challenge of CL is catastrophic forgetting (CF). While
a number of techniques are already available to effectively overcome CF for
TIL, CIL remains to be highly challenging. So far, little theoretical study has
been done to provide a principled guidance on how to solve the CIL problem.
This paper performs such a study. It first shows that probabilistically, the
CIL problem can be decomposed into two sub-problems: Within-task Prediction
(WP) and Task-id Prediction (TP). It further proves that TP is correlated with
out-of-distribution (OOD) detection, which connects CIL and OOD detection. The
key conclusion of this study is that regardless of whether WP and TP or OOD
detection are defined explicitly or implicitly by a CIL algorithm, good WP and
good TP or OOD detection are necessary and sufficient for good CIL
performances. Additionally, TIL is simply WP. Based on the theoretical result,
new CIL methods are also designed, which outperform strong baselines in both
CIL and TIL settings by a large margin.
- Abstract(参考訳): 連続学習(CL)は、一連のタスクを段階的に学習する。
一般的なcl設定は、クラスインクリメンタル学習(cil)とタスクインクリメンタル学習(til)の2つだ。
CLの大きな課題は破滅的忘れ(CF)である。
TILのCFを効果的に克服する多くのテクニックがすでに提供されているが、CILは非常に難しい。
これまでのところ、CIL問題の解法に関する原則的なガイダンスを提供するための理論的研究はほとんど行われていない。
本論文はこのような研究を行う。
まず、cil問題は、確率的に、inside-task prediction (wp) と task-id prediction (tp) の2つのサブproblemに分解できることを示す。
さらに、TPはCILとOODを繋ぐOOD(out-of-distribution)検出と相関していることを証明している。
本研究の重要な結論は、WP と TP と OOD の検出が CIL アルゴリズムによって明示的に、あるいは暗黙的に定義されているかどうかにかかわらず、優れた WP と TP と OOD 検出は、優れた CIL 性能に十分必要であるということである。
加えて、TILは単にWPである。
理論的な結果に基づいて新しいCIL法も設計され、CILとTILの両方の設定において強いベースラインを大きなマージンで上回る。
関連論文リスト
- How Does Unlabeled Data Provably Help Out-of-Distribution Detection? [63.41681272937562]
in-distribution (ID) とout-of-distribution (OOD) の両データの不均一性のため、未ラベルの in-the-wild データは非自明である。
本稿では,理論的保証と実証的有効性の両方を提供する新たな学習フレームワークであるSAL(Separate And Learn)を紹介する。
論文 参考訳(メタデータ) (2024-02-05T20:36:33Z) - Sub-network Discovery and Soft-masking for Continual Learning of Mixed
Tasks [46.96149283885802]
本稿では,CFおよび/または制限KTを克服する新しいCL法を提案する。
サブネットワークを発見して各タスクの知識を分離することでCFを克服する。
従来の知識を保存し、新しいタスクが過去の知識を活用してKTを達成できるようにするため、ソフトマスキング機構も提案されている。
論文 参考訳(メタデータ) (2023-10-13T23:00:39Z) - Class Incremental Learning via Likelihood Ratio Based Task Prediction [20.145128455767587]
新たな理論誘導アプローチは、タスクごとにタスク固有のモデルを、すべてのタスクに対して共有ネットワークでトレーニングすることである。
本稿では,従来のOOD検出器をタスクID予測に利用することは,追加情報を利用することができるため,最適ではないと主張している。
新手法をTPL (Task-id Prediction based on Likelihood Ratio) と呼ぶ。
強いCILベースラインを著しく上回り、破滅的な忘れがほとんどない。
論文 参考訳(メタデータ) (2023-09-26T16:25:57Z) - Multiclass Boosting: Simple and Intuitive Weak Learning Criteria [72.71096438538254]
実現可能性の仮定を必要としない,単純かつ効率的なブースティングアルゴリズムを提案する。
本稿では,リスト学習者の向上に関する新たな結果と,マルチクラスPAC学習の特徴付けのための新しい証明を提案する。
論文 参考訳(メタデータ) (2023-07-02T19:26:58Z) - Learnability and Algorithm for Continual Learning [7.7046692574332285]
クラスインクリメンタルラーニング(クラスインクリメンタルラーニング、Class Incremental Learning、CIL)は、クラスや概念の相容れない集合からなる一連のタスクを学習する。
本稿では,CILが学習可能であることを示す。この理論に基づき,新しいCILアルゴリズムも提案する。
論文 参考訳(メタデータ) (2023-06-22T03:08:42Z) - Open-World Continual Learning: Unifying Novelty Detection and Continual
Learning [13.186315474669287]
本稿では,OOD検出がCILに実際に必要であることを理論的に証明する。
我々の理論に基づく優れたCILアルゴリズムは、オープンワールドラーニングにおいて自然に利用できる。
新たなCIL法も設計されており、CILの精度とOOD検出を大きなマージンで優れたベースラインを達成している。
論文 参考訳(メタデータ) (2023-04-20T01:32:32Z) - Out-of-Distribution Detection with Hilbert-Schmidt Independence
Optimization [114.43504951058796]
異常検出タスクはAIの安全性において重要な役割を担っている。
ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。
我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
論文 参考訳(メタデータ) (2022-09-26T15:59:55Z) - A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。
この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
論文 参考訳(メタデータ) (2022-06-08T14:51:52Z) - Continual Learning Based on OOD Detection and Task Masking [7.7046692574332285]
本稿では,CLOM(out-of-distriion(OOD)検出とタスクマスキングに基づく新しい統一手法を提案する。
評価の結果,CLOMは既存の最先端のベースラインよりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2022-03-17T17:10:12Z) - Achieving Forgetting Prevention and Knowledge Transfer in Continual
Learning [22.83874590642864]
連続学習は、破滅的忘れ(CF)の克服と知識伝達(KT)の2つの目的を達成するために、一連のタスクを学習する
既存の技術のほとんどはCFを克服することだけに重点を置いており、KTを促進するメカニズムがないため、KTではうまく機能しない。
本稿ではこれらの問題を解決するために,CTRと呼ばれる新しいモデルを提案する。
論文 参考訳(メタデータ) (2021-12-05T23:13:13Z) - Distilling Knowledge via Knowledge Review [69.15050871776552]
教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。
知識蒸留において初めて, クロスステージ接続経路が提案されている。
最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
論文 参考訳(メタデータ) (2021-04-19T04:36:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。