論文の概要: Open-World Continual Learning: Unifying Novelty Detection and Continual Learning

• arxiv url: http://arxiv.org/abs/2304.10038v1
• Date: Thu, 20 Apr 2023 01:32:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 14:48:07.625580
• Title: Open-World Continual Learning: Unifying Novelty Detection and Continual Learning
• Title（参考訳）: オープンワールド連続学習 : 新規性検出と継続学習の統合
• Authors: Gyuhak Kim, Changnan Xiao, Tatsuya Konishi, Zixuan Ke, Bing Liu
• Abstract要約: 本稿では,OOD検出がCILに実際に必要であることを理論的に証明する。 我々の理論に基づく優れたCILアルゴリズムは、オープンワールドラーニングにおいて自然に利用できる。 新たなCIL法も設計されており、CILの精度とOOD検出を大きなマージンで優れたベースラインを達成している。
• 参考スコア（独自算出の注目度）: 13.186315474669287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As AI agents are increasingly used in the real open world with unknowns or novelties, they need the ability to (1) recognize objects that (i) they have learned and (ii) detect items that they have not seen or learned before, and (2) learn the new items incrementally to become more and more knowledgeable and powerful. (1) is called novelty detection or out-of-distribution (OOD) detection and (2) is called class incremental learning (CIL), which is a setting of continual learning (CL). In existing research, OOD detection and CIL are regarded as two completely different problems. This paper theoretically proves that OOD detection actually is necessary for CIL. We first show that CIL can be decomposed into two sub-problems: within-task prediction (WP) and task-id prediction (TP). We then prove that TP is correlated with OOD detection. The key theoretical result is that regardless of whether WP and OOD detection (or TP) are defined explicitly or implicitly by a CIL algorithm, good WP and good OOD detection are necessary and sufficient conditions for good CIL, which unifies novelty or OOD detection and continual learning (CIL, in particular). A good CIL algorithm based on our theory can naturally be used in open world learning, which is able to perform both novelty/OOD detection and continual learning. Based on the theoretical result, new CIL methods are also designed, which outperform strong baselines in terms of CIL accuracy and its continual OOD detection by a large margin.
• Abstract（参考訳）: AIエージェントは、未知や新奇性のある現実世界でますます使われているため、(1)物体を認識する能力が必要である。 (i)彼らが学んだこと、そして (二)これまで見たことのない、あるいは学んだことのない項目を検出し、(2)新しい項目を徐々に学習し、より知識豊かで強力になる。 1)新奇性検出(newty detection, out-of-distribution, od)、(2)クラスインクリメンタル学習(cil)、すなわち連続学習(continual learning, cl)である。 既存の研究では、OOD検出とCILは全く異なる2つの問題と見なされている。 本稿では,OOD検出がCILに実際に必要であることを理論的に証明する。 まず、CILを2つのサブプロブレム、すなわち in-task prediction (WP) と Task-id prediction (TP) に分解できることを示す。 次に,TPがOOD検出と相関していることを証明する。 鍵となる理論的結果は、WPとOOD検出(TP)がCILアルゴリズムによって明示的に、あるいは暗黙的に定義されるにせよ、優れたWPとOOD検出は必要であり、優れたCILのための十分な条件であり、新規性やOOD検出と継続学習(特にCIL)を統合することである。 この理論に基づく優れたcilアルゴリズムは、自然にオープンワールド学習に利用することができ、新奇性/オード検出と連続学習の両方を実行できる。 理論的な結果に基づいて、CILの精度と連続OOD検出において高いベースラインを大きなマージンで上回る新しいCIL法も設計されている。

関連論文リスト

• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• Generalized Out-of-Distribution Detection and Beyond in Vision Language Model Era: A Survey [107.08019135783444]
  VLM時代のAD, ND, OSR, OOD, ODの進化をカプセル化した一般OOD検出v2を提案する。 我々のフレームワークは、いくつかのフィールド不活性と統合により、要求される課題がOOD検出とADになっていることを明らかにしている。
  論文  参考訳（メタデータ） (2024-07-31T17:59:58Z)
• On the Learnability of Out-of-distribution Detection [46.9442031620796]
  本稿では,OOD検出のほぼ正解(PAC)学習理論について検討する。 いくつかのシナリオにおいて、OOD検出の学習性に関するいくつかの不確実性定理を証明した。 そこで我々は,OOD検出の学習性を評価するために必要な条件をいくつか提示する。
  論文  参考訳（メタデータ） (2024-04-07T08:17:48Z)
• Exploring Large Language Models for Multi-Modal Out-of-Distribution Detection [67.68030805755679]
  大きな言語モデル(LLM)は豊富な世界の知識をエンコードし、クラスごとに記述的な特徴を生成するよう促すことができる。 本稿では,LLMの選択的生成によるOOD検出性能向上のための世界知識の適用を提案する。
  論文  参考訳（メタデータ） (2023-10-12T04:14:28Z)
• A Theoretical Study on Solving Continual Learning [13.186315474669287]
  本研究は,CIL問題を2つのサブプロブレムに分解できることを示す:内タスク予測(WP)とタスクID予測(TP)である。 さらに、TPはCILとOODを繋ぐOOD(out-of-distribution)検出と相関していることを証明している。 本研究の重要な結論は、WP と TP と OOD の検出が CIL アルゴリズムによって明示的に、あるいは暗黙的に定義されているかどうかにかかわらず、優れた WP と TP と OOD 検出は、優れた CIL 性能のために必要であり、十分であるということである。
  論文  参考訳（メタデータ） (2022-11-04T17:45:55Z)
• Is Out-of-Distribution Detection Learnable? [45.377641783085046]
  我々は,OOD検出のほぼ正解(PAC)学習理論について検討した。 いくつかのシナリオにおいて、OOD検出の学習性に関するいくつかの不確実性定理を証明した。 そこで我々は,OOD検出の学習性を評価するために必要な条件をいくつか提示する。
  論文  参考訳（メタデータ） (2022-10-26T13:35:19Z)
• Generalized Out-of-Distribution Detection: A Survey [83.0449593806175]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習システムの信頼性と安全性を確保するために重要である。 その他の問題として、異常検出(AD)、新規検出(ND)、オープンセット認識(OSR)、異常検出(OD)などがある。 まず、上記の5つの問題を含む一般化OOD検出という統合されたフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-21T17:59:41Z)
• DOODLER: Determining Out-Of-Distribution Likelihood from Encoder Reconstructions [6.577622354490276]
  本稿では,Of-Distribution Detectionのための新しい手法であるDOODLERを紹介し,検討する。 変分オートエンコーダを他のディープラーニングモデルと同じデータでトレーニングすることにより、VAEは、ID(In-Distribution)入力を正確に再構築することを学ぶが、OOD入力は再構築しない。 この分野の他の研究とは異なり、DOODLERはOODデータセットの存在について非常に弱い仮定しか必要とせず、より現実的なアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2021-09-27T14:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。