論文の概要: Open-World Continual Learning: Unifying Novelty Detection and Continual Learning

• arxiv url: http://arxiv.org/abs/2304.10038v2
• Date: Mon, 21 Oct 2024 04:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 17:02:18.070007
• Title: Open-World Continual Learning: Unifying Novelty Detection and Continual Learning
• Title（参考訳）: オープンワールド連続学習 : 新規性検出と継続学習の統合
• Authors: Gyuhak Kim, Changnan Xiao, Tatsuya Konishi, Zixuan Ke, Bing Liu,
• Abstract要約: CILを成功させるためには,学習タスクセット内の各タスクに対して優れたOOD検出が必要であることを示す。 そして、この理論を、オープンワールドのCILに一般化または拡張し、オープンワールドでCILを実行し、将来のOODデータやオープンワールドのOODデータを検出することができることを証明した。 新たなCIL法も設計されており、CILの精度やOOD検出における高いベースラインを大きなマージンで上回る。
• 参考スコア（独自算出の注目度）: 20.789113765332935
• License:
• Abstract: As AI agents are increasingly used in the real open world with unknowns or novelties, they need the ability to (1) recognize objects that (a) they have learned before and (b) detect items that they have never seen or learned, and (2) learn the new items incrementally to become more and more knowledgeable and powerful. (1) is called novelty detection or out-of-distribution (OOD) detection and (2) is called class incremental learning (CIL), which is a setting of continual learning (CL). In existing research, OOD detection and CIL are regarded as two completely different problems. This paper first provides a theoretical proof that good OOD detection for each task within the set of learned tasks (called closed-world OOD detection) is necessary for successful CIL. We show this by decomposing CIL into two sub-problems: within-task prediction (WP) and task-id prediction (TP), and proving that TP is correlated with closed-world OOD detection. The key theoretical result is that regardless of whether WP and OOD detection (or TP) are defined explicitly or implicitly by a CIL algorithm, good WP and good closed-world OOD detection are necessary and sufficient conditions for good CIL, which unifies novelty or OOD detection and continual learning (CIL, in particular). We call this traditional CIL the closed-world CIL as it does not detect future OOD data in the open world. The paper then proves that the theory can be generalized or extended to open-world CIL, which is the proposed open-world continual learning, that can perform CIL in the open world and detect future or open-world OOD data. Based on the theoretical results, new CIL methods are also designed, which outperform strong baselines in CIL accuracy and in continual OOD detection by a large margin.
• Abstract（参考訳）: AIエージェントは、未知や新奇性のある現実世界でますます使われているため、(1)物体を認識する能力が必要である。 (a)以前に学んだこと、そして b) 今まで見たことのない項目を検知し,(2) 新しい項目を段階的に学習し, より理解し, 強力になる。 1)ノベルティ検出またはアウト・オブ・ディストリビューション(OOD)検出と呼ばれ、(2)クラスインクリメンタルラーニング(CIL)と呼ばれる。 既存の研究では、OOD検出とCILは全く異なる2つの問題と見なされている。 本稿ではまず,CIL を成功させるためには,学習タスクの集合(クローズドワールド OOD 検出と呼ばれる)において,各タスクに対して優れた OOD 検出が必要であるという理論的証明を提供する。 本稿では,CILを2つのサブプロブレム(WP)とタスクID予測(TP)に分解し,TPが閉世界OOD検出と相関していることを示す。 鍵となる理論的結果は、WPとOOD検出(TP)がCILアルゴリズムによって明示的に、あるいは暗黙的に定義されているかどうかに関わらず、優れたWPと良好な閉世界OOD検出は、新規性やOOD検出と継続学習(特にCIL)を統一する十分な条件を必要とすることである。 我々は、この従来のCILをクローズドワールドCILと呼び、オープンワールドにおける将来のOODデータを検出しない。 提案するオープンワールド連続学習であるオープンワールドCILは,オープンワールドでCILを実行し,将来あるいはオープンワールドOODデータを検出することができる。 理論的な結果に基づいて、CILの精度および連続OOD検出において大きなマージンで強いベースラインを上回り、新しいCIL法も設計されている。

関連論文リスト

• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• Generalized Out-of-Distribution Detection and Beyond in Vision Language Model Era: A Survey [107.08019135783444]
  VLM時代のAD, ND, OSR, OOD, ODの進化をカプセル化した一般OOD検出v2を提案する。 我々のフレームワークは、いくつかのフィールド不活性と統合により、要求される課題がOOD検出とADになっていることを明らかにしている。
  論文  参考訳（メタデータ） (2024-07-31T17:59:58Z)
• On the Learnability of Out-of-distribution Detection [46.9442031620796]
  本稿では,OOD検出のほぼ正解(PAC)学習理論について検討する。 いくつかのシナリオにおいて、OOD検出の学習性に関するいくつかの不確実性定理を証明した。 そこで我々は,OOD検出の学習性を評価するために必要な条件をいくつか提示する。
  論文  参考訳（メタデータ） (2024-04-07T08:17:48Z)
• Exploring Large Language Models for Multi-Modal Out-of-Distribution Detection [67.68030805755679]
  大きな言語モデル(LLM)は豊富な世界の知識をエンコードし、クラスごとに記述的な特徴を生成するよう促すことができる。 本稿では,LLMの選択的生成によるOOD検出性能向上のための世界知識の適用を提案する。
  論文  参考訳（メタデータ） (2023-10-12T04:14:28Z)
• A Theoretical Study on Solving Continual Learning [13.186315474669287]
  本研究は,CIL問題を2つのサブプロブレムに分解できることを示す:内タスク予測(WP)とタスクID予測(TP)である。 さらに、TPはCILとOODを繋ぐOOD(out-of-distribution)検出と相関していることを証明している。 本研究の重要な結論は、WP と TP と OOD の検出が CIL アルゴリズムによって明示的に、あるいは暗黙的に定義されているかどうかにかかわらず、優れた WP と TP と OOD 検出は、優れた CIL 性能のために必要であり、十分であるということである。
  論文  参考訳（メタデータ） (2022-11-04T17:45:55Z)
• Is Out-of-Distribution Detection Learnable? [45.377641783085046]
  我々は,OOD検出のほぼ正解(PAC)学習理論について検討した。 いくつかのシナリオにおいて、OOD検出の学習性に関するいくつかの不確実性定理を証明した。 そこで我々は,OOD検出の学習性を評価するために必要な条件をいくつか提示する。
  論文  参考訳（メタデータ） (2022-10-26T13:35:19Z)
• Generalized Out-of-Distribution Detection: A Survey [83.0449593806175]
  アウト・オブ・ディストリビューション(OOD)検出は、機械学習システムの信頼性と安全性を確保するために重要である。 その他の問題として、異常検出(AD)、新規検出(ND)、オープンセット認識(OSR)、異常検出(OD)などがある。 まず、上記の5つの問題を含む一般化OOD検出という統合されたフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-21T17:59:41Z)
• DOODLER: Determining Out-Of-Distribution Likelihood from Encoder Reconstructions [6.577622354490276]
  本稿では,Of-Distribution Detectionのための新しい手法であるDOODLERを紹介し,検討する。 変分オートエンコーダを他のディープラーニングモデルと同じデータでトレーニングすることにより、VAEは、ID(In-Distribution)入力を正確に再構築することを学ぶが、OOD入力は再構築しない。 この分野の他の研究とは異なり、DOODLERはOODデータセットの存在について非常に弱い仮定しか必要とせず、より現実的なアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2021-09-27T14:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。