論文の概要: Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2112.04731v5
• Date: Sun, 7 Apr 2024 17:09:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 06:04:02.968332
• Title: Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning
• Title（参考訳）: Oracleの模倣: クラスインクリメンタルラーニングのための初期段階のデコレーションアプローチ
• Authors: Yujun Shi, Kuangqi Zhou, Jian Liang, Zihang Jiang, Jiashi Feng, Philip Torr, Song Bai, Vincent Y. F. Tan,
• Abstract要約: 本研究では,Na"訓練初期相モデルとオラクルモデルとの相違について検討する。 より均一に散らばるように,各クラスの表現を効果的に正規化するクラスワイド・デコレーション(CwD)を提案する。 私たちのCwDは実装が簡単で、既存のメソッドに簡単にプラグインできます。
• 参考スコア（独自算出の注目度）: 141.35105358670316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class Incremental Learning (CIL) aims at learning a multi-class classifier in a phase-by-phase manner, in which only data of a subset of the classes are provided at each phase. Previous works mainly focus on mitigating forgetting in phases after the initial one. However, we find that improving CIL at its initial phase is also a promising direction. Specifically, we experimentally show that directly encouraging CIL Learner at the initial phase to output similar representations as the model jointly trained on all classes can greatly boost the CIL performance. Motivated by this, we study the difference between a na\"ively-trained initial-phase model and the oracle model. Specifically, since one major difference between these two models is the number of training classes, we investigate how such difference affects the model representations. We find that, with fewer training classes, the data representations of each class lie in a long and narrow region; with more training classes, the representations of each class scatter more uniformly. Inspired by this observation, we propose Class-wise Decorrelation (CwD) that effectively regularizes representations of each class to scatter more uniformly, thus mimicking the model jointly trained with all classes (i.e., the oracle model). Our CwD is simple to implement and easy to plug into existing methods. Extensive experiments on various benchmark datasets show that CwD consistently and significantly improves the performance of existing state-of-the-art methods by around 1\% to 3\%. Code will be released.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は、各フェーズでサブセットのデータのみを提供するフェーズバイフェーズ方式で、マルチクラス分類器を学習することを目的としている。 これまでの作業は主に,最初のフェーズ以降のフェーズにおける忘れの軽減に重点を置いていた。 しかし、初期段階でのCILの改善も有望な方向であることがわかった。 具体的には、CILラーナーを初期段階で直接奨励し、全てのクラスで協調訓練されたモデルがCILの性能を大幅に向上させることができることを実験的に示す。 そこで本研究では,Na\を学習した初期相モデルとオラクルモデルとの差について検討した。 具体的には、これらの2つのモデルの大きな違いがトレーニングクラスの数であることから、そのような差がモデル表現にどのように影響するかを考察する。 トレーニングクラスが少ないと、各クラスのデータ表現は長く狭い領域に置かれ、より多くのトレーニングクラスでは、各クラスの表現がより均一に散らばっている。 この観察から着想を得たCwD (Class-wise Decorrelation) は,各クラスの表現をより均一に散らばるように効果的に正規化することで,全てのクラス(すなわちオラクルモデル)で共同で訓練されたモデルを模倣する。 私たちのCwDは実装が簡単で、既存のメソッドに簡単にプラグインできます。 様々なベンチマークデータセットに対する大規模な実験により、CwDは、既存の最先端メソッドのパフォーマンスを約1\%から3\%改善することを示した。 コードはリリースされる。

関連論文リスト

• Covariance-based Space Regularization for Few-shot Class Incremental Learning [25.435192867105552]
  FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。 インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。 最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
  論文  参考訳（メタデータ） (2024-11-02T08:03:04Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Subclass-balancing Contrastive Learning for Long-tailed Recognition [38.31221755013738]
  不均衡なクラス分布を持つロングテール認識は、実践的な機械学習アプリケーションで自然に現れる。 そこで我々は,各ヘッドクラスを複数のサブクラスにクラスタリングする,新しいサブクラスバランス・コントラッシブ・ラーニング・アプローチを提案する。 我々は,長期化ベンチマークデータセットの一覧からSBCLを評価し,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-06-28T05:08:43Z)
• Class-Incremental Learning with Cross-Space Clustering and Controlled Transfer [9.356870107137093]
  クラス増分学習では,従来のクラスに関する知識を維持しつつ,新しいクラスを継続的に学習することが期待される。 クラスインクリメンタルラーニングのための蒸留法に基づく2つの目的を提案する。
  論文  参考訳（メタデータ） (2022-08-07T16:28:02Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Class-Balanced Distillation for Long-Tailed Visual Recognition [100.10293372607222]
  実世界のイメージはしばしばクラスごとの画像数の著しい不均衡によって特徴づけられ、ロングテール分布に繋がる。 本研究では、インスタンスサンプリングで学習した特徴表現が長尾設定では最適とは程遠いという重要な観察を行うことで、新しいフレームワークを提案する。 我々の主な貢献は、知識蒸留を利用して特徴表現を強化する新しい訓練方法である。
  論文  参考訳（メタデータ） (2021-04-12T08:21:03Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition [52.66360172784038]
  各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。 提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
  論文  参考訳（メタデータ） (2021-01-18T12:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。