論文の概要: Wakening Past Concepts without Past Data: Class-Incremental Learning from Online Placebos

• arxiv url: http://arxiv.org/abs/2310.16115v1
• Date: Tue, 24 Oct 2023 18:32:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 18:40:17.170495
• Title: Wakening Past Concepts without Past Data: Class-Incremental Learning from Online Placebos
• Title（参考訳）: 過去のデータのない概念の覚醒:オンラインプラセボからのクラスインクリメンタルラーニング
• Authors: Yaoyao Liu, Yingying Li, Bernt Schiele, Qianru Sun
• Abstract要約: KDのための新しいクラスデータの利用」は、モデル適応(新しいクラスを学ぶための)を妨げるだけでなく、古いクラスの知識を保存するための低効率をもたらす。 ここでは,Google Imagesなどの無料画像ストリームから,Placebosを自動的かつ経済的に選択するKDの古いクラスのPlaceboを使用することによって,この問題に対処する。
• 参考スコア（独自算出の注目度）: 85.37515663416691
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Not forgetting old class knowledge is a key challenge for class-incremental learning (CIL) when the model continuously adapts to new classes. A common technique to address this is knowledge distillation (KD), which penalizes prediction inconsistencies between old and new models. Such prediction is made with almost new class data, as old class data is extremely scarce due to the strict memory limitation in CIL. In this paper, we take a deep dive into KD losses and find that "using new class data for KD" not only hinders the model adaption (for learning new classes) but also results in low efficiency for preserving old class knowledge. We address this by "using the placebos of old classes for KD", where the placebos are chosen from a free image stream, such as Google Images, in an automatical and economical fashion. To this end, we train an online placebo selection policy to quickly evaluate the quality of streaming images (good or bad placebos) and use only good ones for one-time feed-forward computation of KD. We formulate the policy training process as an online Markov Decision Process (MDP), and introduce an online learning algorithm to solve this MDP problem without causing much computation costs. In experiments, we show that our method 1) is surprisingly effective even when there is no class overlap between placebos and original old class data, 2) does not require any additional supervision or memory budget, and 3) significantly outperforms a number of top-performing CIL methods, in particular when using lower memory budgets for old class exemplars, e.g., five exemplars per class.
• Abstract（参考訳）: 古いクラス知識を忘れないことは、モデルが新しいクラスに継続的に適応する場合、クラスインクリメンタル学習(cil)にとって重要な課題である。 これに対処する一般的なテクニックは知識蒸留(kd)であり、古いモデルと新しいモデルの予測の不一致を罰する。 このような予測は、cilのメモリ制限が厳しいため、古いクラスデータは極めて少ないため、ほとんど新しいクラスデータで行われます。 本稿では,KDの損失を深く掘り下げ,「KDの新しいクラスデータの利用」がモデル適応を阻害するだけでなく(新しいクラスを学習するために),古いクラスの知識を保存するための効率の低下をもたらすことを明らかにする。 ここでは,Google Imagesなどの無料画像ストリームから,Placebosを自動的かつ経済的に選択するKDの古いクラスのPlaceboを使用することによって,この問題に対処する。 この目的のために,オンラインプレースボ選択ポリシーをトレーニングし,ストリーミング画像(良か悪か)の品質を迅速に評価し,kdの1回フィードフォワード計算によいもののみを使用する。 我々は,オンラインマルコフ決定プロセス(MDP)としてポリシートレーニングプロセスを定式化し,このMDP問題を解決するためのオンライン学習アルゴリズムを導入する。 実験では、我々の方法が示されます。 1) placebosとオリジナルの古いクラスデータの間にクラス重複がない場合でも、驚くほど効果的である。 2)追加の監督や記憶予算を必要としない。 3)多くの上位パフォーマンスcilメソッド、特にクラスごとに5つのexemplarsのような古いクラスのexemplarに対して低いメモリ予算を使用する場合を著しく上回っている。

関連論文リスト

• Towards Non-Exemplar Semi-Supervised Class-Incremental Learning [33.560003528712414]
  クラス増分学習は、古いクラスの識別性を保ちながら、新しいクラスを徐々に認識することを目的としている。 コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を用いた非経験的半教師付きCILフレームワークを提案する。 Semi-IPCは教師なしの正規化で各クラスのプロトタイプを学習し、部分的にラベル付けされた新しいデータからモデルを漸進的に学習することを可能にする。
  論文  参考訳（メタデータ） (2024-03-27T06:28:19Z)
• Adapt Your Teacher: Improving Knowledge Distillation for Exemplar-free Continual Learning [14.379472108242235]
  正規化戦略として知識蒸留(KD)を併用した模範自由クラスインクリメンタルラーニング(CIL)について検討した。 KDベースの手法はCILでうまく使われているが、以前のタスクからトレーニングデータの例にアクセスできることなくモデルを規則化するのに苦労することが多い。 近年の試験時間適応法に触発されて,インクリメンタルトレーニング中に教師と主要モデルを同時に更新する手法であるTeacher Adaptation (TA)を紹介した。
  論文  参考訳（メタデータ） (2023-08-18T13:22:59Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)
• Decomposed Knowledge Distillation for Class-Incremental Semantic Segmentation [34.460973847554364]
  クラスインクリメンタルセマンティックセグメンテーション(CISS)は、画像の各ピクセルに対応するオブジェクト/スタッフクラスを連続的にラベル付けする。 それまでの知識を忘れずに、新しいクラスを漸進的に学ぶことが不可欠である。 我々は,忘れる問題を軽減し,新しい授業を効果的に学習するためのCISSフレームワークを導入する。
  論文  参考訳（メタデータ） (2022-10-12T06:15:51Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• Undistillable: Making A Nasty Teacher That CANNOT teach students [84.6111281091602]
  本論文では,ナスティ・ティーチング(Nasty Teacher)という,通常の教師とほぼ同じパフォーマンスを得られる特別に訓練されたティーチング・ネットワークについて紹介し,研究する。 本稿では, 自負知識蒸留法という, シンプルで効果的な教師構築アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-16T08:41:30Z)
• ClaRe: Practical Class Incremental Learning By Remembering Previous Class Representations [9.530976792843495]
  クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。 ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。 ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
  論文  参考訳（メタデータ） (2021-03-29T10:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。