論文の概要: OpenCIL: Benchmarking Out-of-Distribution Detection in Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2407.06045v2
• Date: Tue, 9 Jul 2024 12:14:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 11:26:26.750346
• Title: OpenCIL: Benchmarking Out-of-Distribution Detection in Class-Incremental Learning
• Title（参考訳）: OpenCIL: 授業増分学習におけるアウト・オブ・ディストリビューション検出のベンチマーク
• Authors: Wenjun Miao, Guansong Pang, Trong-Tung Nguyen, Ruohang Fang, Jin Zheng, Xiao Bai,
• Abstract要約: クラスインクリメンタルラーニング(CIL)は、新しいクラスを段階的に適応できるモデルを学び、古いクラスの学習知識を維持することを目的としている。 CILにおけるアウト・オブ・ディストリビューション(OOD)検出は、学習クラスの異なる分布から引き出された未知のサンプルを拒否しながら、この漸進的な学習能力を維持することである。 OODサンプルの検出における高度なCILモデルの能力を評価するための、体系的で大規模なベンチマークが欠如している。
• 参考スコア（独自算出の注目度）: 21.375579841889817
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class incremental learning (CIL) aims to learn a model that can not only incrementally accommodate new classes, but also maintain the learned knowledge of old classes. Out-of-distribution (OOD) detection in CIL is to retain this incremental learning ability, while being able to reject unknown samples that are drawn from different distributions of the learned classes. This capability is crucial to the safety of deploying CIL models in open worlds. However, despite remarkable advancements in the respective CIL and OOD detection, there lacks a systematic and large-scale benchmark to assess the capability of advanced CIL models in detecting OOD samples. To fill this gap, in this study we design a comprehensive empirical study to establish such a benchmark, named $\textbf{OpenCIL}$. To this end, we propose two principled frameworks for enabling four representative CIL models with 15 diverse OOD detection methods, resulting in 60 baseline models for OOD detection in CIL. The empirical evaluation is performed on two popular CIL datasets with six commonly-used OOD datasets. One key observation we find through our comprehensive evaluation is that the CIL models can be severely biased towards the OOD samples and newly added classes when they are exposed to open environments. Motivated by this, we further propose a new baseline for OOD detection in CIL, namely Bi-directional Energy Regularization ($\textbf{BER}$), which is specially designed to mitigate these two biases in different CIL models by having energy regularization on both old and new classes. Its superior performance is justified in our experiments. All codes and datasets are open-source at https://github.com/mala-lab/OpenCIL.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は、新しいクラスを段階的に適応できるだけでなく、古いクラスの学習知識も維持できるモデルを学ぶことを目的としている。 CILにおけるアウト・オブ・ディストリビューション(OOD)検出は、学習クラスの異なる分布から引き出された未知のサンプルを拒否しながら、この漸進的な学習能力を維持することである。 この機能は、オープンな世界でCILモデルをデプロイする上で、非常に重要です。 しかし、それぞれのCILおよびOOD検出の顕著な進歩にもかかわらず、OODサンプルの検出における高度なCILモデルの能力を評価するための体系的かつ大規模なベンチマークが欠如している。 このギャップを埋めるために、本稿では、このようなベンチマークを$\textbf{OpenCIL}$と名付けるために、包括的な実証的研究を設計する。 そこで本研究では,15種類のOOD検出方式で4種類のCILモデルを実現するための2つの基本フレームワークを提案し,その結果,CILにおけるOOD検出のベースラインモデルが60になることを示した。 実験的な評価は、一般的な6つのOODデータセットを持つ2つのCILデータセットで実施される。 包括的評価を通じて得られた重要な観察の1つは、CILモデルがオープン環境に曝露された際に、OODサンプルや新たに追加されたクラスに対して深刻なバイアスを受けることができることである。 そこで本研究では,CILにおけるOOD検出のための新たなベースライン,すなわち双方向エネルギー正規化(\textbf{BER}$)を提案する。 その優れたパフォーマンスは、我々の実験で正当化されている。 すべてのコードとデータセットはhttps://github.com/mala-lab/OpenCILでオープンソース化されている。

関連論文リスト

• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• FlowCon: Out-of-Distribution Detection using Flow-Based Contrastive Learning [0.0]
  我々は新しい密度に基づくOOD検出技術であるtextitFlowConを紹介する。 我々の主な革新は、正規化フローの特性と教師付きコントラスト学習を効率的に組み合わせることである。 経験的評価は、一般的な視覚データセットにまたがる手法の性能向上を示す。
  論文  参考訳（メタデータ） (2024-07-03T20:33:56Z)
• Envisioning Outlier Exposure by Large Language Models for Out-of-Distribution Detection [71.93411099797308]
  オープンワールドシナリオに機械学習モデルをデプロイする場合、アウト・オブ・ディストリビューション(OOD)サンプルは不可欠である。 本稿では,大規模言語モデル(LLM)の専門知識と推論能力を活用して,この制約に対処することを提案する。 EOEは、遠、近、きめ細かいOOD検出など、さまざまなタスクに一般化することができる。 EOEは様々なOODタスクで最先端のパフォーマンスを実現し、ImageNet-1Kデータセットに効果的にスケールできる。
  論文  参考訳（メタデータ） (2024-06-02T17:09:48Z)
• WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
  入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。 我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T13:38:28Z)
• CLIPScope: Enhancing Zero-Shot OOD Detection with Bayesian Scoring [16.0716584170549]
  ゼロショットOOD検出手法であるCLIPScopeを導入する。 CLIPScopeは、大きな語彙データベースからOODクラスをマイニングするための新しい戦略を取り入れている。 OODサンプルのカバレッジを最大化するために、CLIP埋め込み距離の観点から、最も多く、最もIDクラスに最も近いクラスラベルを選択する。
  論文  参考訳（メタデータ） (2024-05-23T16:03:55Z)
• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection [9.656342063882555]
  5種類の分布変化について検討し,OOD検出手法の性能評価を行った。 その結果,これらの手法は未知のクラスの検出に優れるが,他のタイプの分散シフトに遭遇した場合,その性能は不整合であることがわかった。 我々は、より一貫性があり包括的なOOD検出ソリューションを提供するアンサンブルアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-22T14:52:44Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。