論文の概要: A Theoretical Study on Solving Continual Learning

• arxiv url: http://arxiv.org/abs/2211.02633v1
• Date: Fri, 4 Nov 2022 17:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 15:51:32.924996
• Title: A Theoretical Study on Solving Continual Learning
• Title（参考訳）: 連続学習の解決に関する理論的研究
• Authors: Gyuhak Kim, Changnan Xiao, Tatsuya Konishi, Zixuan Ke, Bing Liu
• Abstract要約: 本研究は,CIL問題を2つのサブプロブレムに分解できることを示す:内タスク予測(WP)とタスクID予測(TP)である。 さらに、TPはCILとOODを繋ぐOOD(out-of-distribution)検出と相関していることを証明している。 本研究の重要な結論は、WP と TP と OOD の検出が CIL アルゴリズムによって明示的に、あるいは暗黙的に定義されているかどうかにかかわらず、優れた WP と TP と OOD 検出は、優れた CIL 性能のために必要であり、十分であるということである。
• 参考スコア（独自算出の注目度）: 13.186315474669287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) learns a sequence of tasks incrementally. There are two popular CL settings, class incremental learning (CIL) and task incremental learning (TIL). A major challenge of CL is catastrophic forgetting (CF). While a number of techniques are already available to effectively overcome CF for TIL, CIL remains to be highly challenging. So far, little theoretical study has been done to provide a principled guidance on how to solve the CIL problem. This paper performs such a study. It first shows that probabilistically, the CIL problem can be decomposed into two sub-problems: Within-task Prediction (WP) and Task-id Prediction (TP). It further proves that TP is correlated with out-of-distribution (OOD) detection, which connects CIL and OOD detection. The key conclusion of this study is that regardless of whether WP and TP or OOD detection are defined explicitly or implicitly by a CIL algorithm, good WP and good TP or OOD detection are necessary and sufficient for good CIL performances. Additionally, TIL is simply WP. Based on the theoretical result, new CIL methods are also designed, which outperform strong baselines in both CIL and TIL settings by a large margin.
• Abstract（参考訳）: 連続学習(CL)は、一連のタスクを段階的に学習する。 一般的なcl設定は、クラスインクリメンタル学習(cil)とタスクインクリメンタル学習(til)の2つだ。 CLの大きな課題は破滅的忘れ(CF)である。 TILのCFを効果的に克服する多くのテクニックがすでに提供されているが、CILは非常に難しい。 これまでのところ、CIL問題の解法に関する原則的なガイダンスを提供するための理論的研究はほとんど行われていない。 本論文はこのような研究を行う。 まず、cil問題は、確率的に、inside-task prediction (wp) と task-id prediction (tp) の2つのサブproblemに分解できることを示す。 さらに、TPはCILとOODを繋ぐOOD(out-of-distribution)検出と相関していることを証明している。 本研究の重要な結論は、WP と TP と OOD の検出が CIL アルゴリズムによって明示的に、あるいは暗黙的に定義されているかどうかにかかわらず、優れた WP と TP と OOD 検出は、優れた CIL 性能に十分必要であるということである。 加えて、TILは単にWPである。 理論的な結果に基づいて新しいCIL法も設計され、CILとTILの両方の設定において強いベースラインを大きなマージンで上回る。

関連論文リスト

• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• Reflecting on the State of Rehearsal-free Continual Learning with Pretrained Models [63.11967672725459]
  単純かつ軽量なPEFTベースラインによるP-RFCL手法の整合性を示す。 P-RFCL の手法が,単純で軽量な PEFT ベースラインでマッチング可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-13T17:57:10Z)
• Sub-network Discovery and Soft-masking for Continual Learning of Mixed Tasks [46.96149283885802]
  本稿では,CFおよび/または制限KTを克服する新しいCL法を提案する。 サブネットワークを発見して各タスクの知識を分離することでCFを克服する。 従来の知識を保存し、新しいタスクが過去の知識を活用してKTを達成できるようにするため、ソフトマスキング機構も提案されている。
  論文  参考訳（メタデータ） (2023-10-13T23:00:39Z)
• Class Incremental Learning via Likelihood Ratio Based Task Prediction [20.145128455767587]
  新たな理論誘導アプローチは、タスクごとにタスク固有のモデルを、すべてのタスクに対して共有ネットワークでトレーニングすることである。 本稿では,従来のOOD検出器をタスクID予測に利用することは,追加情報を利用することができるため,最適ではないと主張している。 新手法をTPL (Task-id Prediction based on Likelihood Ratio) と呼ぶ。 強いCILベースラインを著しく上回り、破滅的な忘れがほとんどない。
  論文  参考訳（メタデータ） (2023-09-26T16:25:57Z)
• Learnability and Algorithm for Continual Learning [7.7046692574332285]
  クラスインクリメンタルラーニング(クラスインクリメンタルラーニング、Class Incremental Learning、CIL)は、クラスや概念の相容れない集合からなる一連のタスクを学習する。 本稿では,CILが学習可能であることを示す。この理論に基づき,新しいCILアルゴリズムも提案する。
  論文  参考訳（メタデータ） (2023-06-22T03:08:42Z)
• Open-World Continual Learning: Unifying Novelty Detection and Continual Learning [20.789113765332935]
  CILを成功させるためには,学習タスクセット内の各タスクに対して優れたOOD検出が必要であることを示す。 そして、この理論を、オープンワールドのCILに一般化または拡張し、オープンワールドでCILを実行し、将来のOODデータやオープンワールドのOODデータを検出することができることを証明した。 新たなCIL法も設計されており、CILの精度やOOD検出における高いベースラインを大きなマージンで上回る。
  論文  参考訳（メタデータ） (2023-04-20T01:32:32Z)
• Out-of-Distribution Detection with Hilbert-Schmidt Independence Optimization [114.43504951058796]
  異常検出タスクはAIの安全性において重要な役割を担っている。 ディープニューラルネットワーク分類器は通常、アウト・オブ・ディストリビューション(OOD)の入力を、信頼性の高いイン・ディストリビューション・クラスに誤って分類する傾向がある。 我々は,OOD検出タスクにおいて実用的かつ理論的に有効な代替確率論的パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T15:59:55Z)
• Continual Learning Based on OOD Detection and Task Masking [7.7046692574332285]
  本稿では,CLOM(out-of-distriion(OOD)検出とタスクマスキングに基づく新しい統一手法を提案する。 評価の結果,CLOMは既存の最先端のベースラインよりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2022-03-17T17:10:12Z)
• Achieving Forgetting Prevention and Knowledge Transfer in Continual Learning [22.83874590642864]
  連続学習は、破滅的忘れ(CF)の克服と知識伝達(KT)の2つの目的を達成するために、一連のタスクを学習する 既存の技術のほとんどはCFを克服することだけに重点を置いており、KTを促進するメカニズムがないため、KTではうまく機能しない。 本稿ではこれらの問題を解決するために,CTRと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-12-05T23:13:13Z)
• Distilling Knowledge via Knowledge Review [69.15050871776552]
  教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。 知識蒸留において初めて, クロスステージ接続経路が提案されている。 最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-04-19T04:36:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。