論文の概要: Continual Learning Based on OOD Detection and Task Masking

• arxiv url: http://arxiv.org/abs/2203.09450v1
• Date: Thu, 17 Mar 2022 17:10:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 14:35:18.720541
• Title: Continual Learning Based on OOD Detection and Task Masking
• Title（参考訳）: OOD検出とタスクマスキングに基づく連続学習
• Authors: Gyuhak Kim, Sepideh Esmaeilpour, Changnan Xiao, Bing Liu
• Abstract要約: 本稿では,CLOM(out-of-distriion(OOD)検出とタスクマスキングに基づく新しい統一手法を提案する。 評価の結果,CLOMは既存の最先端のベースラインよりも大きなマージンで優れていた。
• 参考スコア（独自算出の注目度）: 7.7046692574332285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing continual learning techniques focus on either task incremental learning (TIL) or class incremental learning (CIL) problem, but not both. CIL and TIL differ mainly in that the task-id is provided for each test sample during testing for TIL, but not provided for CIL. Continual learning methods intended for one problem have limitations on the other problem. This paper proposes a novel unified approach based on out-of-distribution (OOD) detection and task masking, called CLOM, to solve both problems. The key novelty is that each task is trained as an OOD detection model rather than a traditional supervised learning model, and a task mask is trained to protect each task to prevent forgetting. Our evaluation shows that CLOM outperforms existing state-of-the-art baselines by large margins. The average TIL/CIL accuracy of CLOM over six experiments is 87.6/67.9% while that of the best baselines is only 82.4/55.0%.
• Abstract（参考訳）: 既存の連続学習技術では、タスクインクリメンタル学習(til)またはクラスインクリメンタル学習(cil)の問題にフォーカスしているが、両方ではない。 CILとTILは、主にTILのテスト中に各テストサンプルにタスクIDが提供されるが、CILには提供されないという点で異なっている。 ある問題に対する継続的な学習方法は、他の問題に制限がある。 本稿では,2つの問題を解決するために,out-of-distribution (ood) 検出とclomと呼ばれるタスクマスキングに基づく新しい統一手法を提案する。 重要な新機能は、各タスクが従来の教師付き学習モデルではなく、ood検出モデルとしてトレーニングされ、タスクマスクが各タスクを保護して忘れないようにすることだ。 評価の結果,CLOMは既存の最先端のベースラインよりも大きなマージンで優れていた。 CLOMの6つの実験の平均TIL/CIL精度は87.6/67.9%、最高のベースラインは82.4/55.0%である。

関連論文リスト

• Class Incremental Learning with Task-Specific Batch Normalization and Out-of-Distribution Detection [25.224930928724326]
  本研究では、画像分類のための漸進的な学習に焦点を当て、記憶やプライバシーの制約により古いデータへのアクセスが制限された場合、すべての学習知識の破滅的な忘れ込みを減らす方法について検討する。 漸進的な学習の課題は、可塑性、新しい知識を学ぶ能力、安定性、古い知識を維持する能力の最適なバランスを達成することである。
  論文  参考訳（メタデータ） (2024-11-01T07:54:29Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Class Incremental Learning via Likelihood Ratio Based Task Prediction [20.145128455767587]
  新たな理論誘導アプローチは、タスクごとにタスク固有のモデルを、すべてのタスクに対して共有ネットワークでトレーニングすることである。 本稿では,従来のOOD検出器をタスクID予測に利用することは,追加情報を利用することができるため,最適ではないと主張している。 新手法をTPL (Task-id Prediction based on Likelihood Ratio) と呼ぶ。 強いCILベースラインを著しく上回り、破滅的な忘れがほとんどない。
  論文  参考訳（メタデータ） (2023-09-26T16:25:57Z)
• Learnability and Algorithm for Continual Learning [7.7046692574332285]
  クラスインクリメンタルラーニング(クラスインクリメンタルラーニング、Class Incremental Learning、CIL)は、クラスや概念の相容れない集合からなる一連のタスクを学習する。 本稿では,CILが学習可能であることを示す。この理論に基づき,新しいCILアルゴリズムも提案する。
  論文  参考訳（メタデータ） (2023-06-22T03:08:42Z)
• Multi-Level Contrastive Learning for Dense Prediction Task [59.591755258395594]
  本稿では,高密度予測タスクのための領域レベルの特徴表現を効率よく学習するための,MCL(Multi-Level Contrastive Learning for Dense Prediction Task)を提案する。 本手法は, 局所化, スケールの整合性, 認識の3つの要因に動機付けられている。 提案手法は,様々なデータセットにおける最近の最先端の手法よりも有意なマージンを有する。
  論文  参考訳（メタデータ） (2023-04-04T17:59:04Z)
• A Multi-Head Model for Continual Learning via Out-of-Distribution Replay [16.189891444511755]
  連続学習(CL)における破滅的忘れ(CF)に対する多くのアプローチが提案されている。 本稿では,MOREと呼ばれるトランスフォーマーネットワークを用いて,タスク毎に個別の分類器(頭部)を構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-08-20T19:17:12Z)
• vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
  本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。 vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。 本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-23T22:14:17Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)
• Distribution Matching for Heterogeneous Multi-Task Learning: a Large-scale Face Study [75.42182503265056]
  マルチタスク学習は、共有学習アルゴリズムによって複数のタスクを共同で学習する方法論として登場した。 我々は異種mtlに対処し,検出,分類,回帰問題を同時に解決する。 大規模な顔分析のための最初のフレームワークであるFaceBehaviorNetを構築し、すべての顔行動タスクを共同で学習する。
  論文  参考訳（メタデータ） (2021-05-08T22:26:52Z)
• Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
  ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。 タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。 私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
  論文  参考訳（メタデータ） (2021-03-30T18:11:30Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。