論文の概要: Initial Classifier Weights Replay for Memoryless Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2008.13710v1
• Date: Mon, 31 Aug 2020 16:18:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 07:19:53.067270
• Title: Initial Classifier Weights Replay for Memoryless Class Incremental Learning
• Title（参考訳）: メモリレスクラスインクリメンタル学習のための初期分類器重み付けリプレイ
• Authors: Eden Belouadah, Adrian Popescu, Ioannis Kanellos
• Abstract要約: インクリメンタルラーニング(IL)は、人工システムがデータのストリームを扱う必要があり、常にすべてのデータにアクセスできない場合に有用である。 バニラ微調整バックボーンに基づく別のアプローチを提案する。 我々は、メモリレスインクリメンタルな学習環境で、4つの公開データセットで徹底的な評価を行う。
• 参考スコア（独自算出の注目度）: 11.230170401360633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incremental Learning (IL) is useful when artificial systems need to deal with streams of data and do not have access to all data at all times. The most challenging setting requires a constant complexity of the deep model and an incremental model update without access to a bounded memory of past data. Then, the representations of past classes are strongly affected by catastrophic forgetting. To mitigate its negative effect, an adapted fine tuning which includes knowledge distillation is usually deployed. We propose a different approach based on a vanilla fine tuning backbone. It leverages initial classifier weights which provide a strong representation of past classes because they are trained with all class data. However, the magnitude of classifiers learned in different states varies and normalization is needed for a fair handling of all classes. Normalization is performed by standardizing the initial classifier weights, which are assumed to be normally distributed. In addition, a calibration of prediction scores is done by using state level statistics to further improve classification fairness. We conduct a thorough evaluation with four public datasets in a memoryless incremental learning setting. Results show that our method outperforms existing techniques by a large margin for large-scale datasets.
• Abstract（参考訳）: インクリメンタル学習(il)は、人工知能がデータのストリームを扱う必要があり、常にすべてのデータにアクセスできない場合に有用である。 最も難しい設定は、ディープモデルの一定の複雑さと、過去のデータの境界メモリにアクセスせずにインクリメンタルなモデル更新を必要とする。 そして、過去のクラスの表現は破滅的な忘れ方に強く影響される。 負の効果を軽減するため、知識蒸留を含む適応された微調整が通常展開される。 我々は,バニラ微調整バックボーンに基づく異なるアプローチを提案する。 クラスデータすべてでトレーニングされているため、過去のクラスの強い表現を提供する初期分類子重みを活用する。 しかし、異なる状態において学習される分類器の大きさは異なり、全てのクラスの公平な扱いには正規化が必要である。 正規化は、正規分布と仮定される初期分類器重みを標準化することで行われる。 さらに、状態レベル統計を用いて予測スコアの校正を行い、分類公平性をさらに向上させる。 メモリレスインクリメンタル学習環境において,4つの公開データセットを用いて徹底的な評価を行う。 その結果,本手法は大規模データセットにおいて,既存の手法よりも優れた性能を示すことがわかった。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• Class Impression for Data-free Incremental Learning [20.23329169244367]
  ディープラーニングベースの分類アプローチでは、事前にすべてのクラスからすべてのサンプルを収集し、オフラインでトレーニングする必要がある。 このパラダイムは、新しいデータの追加によって新しいクラスが徐々に導入される現実世界の臨床応用では実用的ではないかもしれない。 本稿では,従来のクラスでトレーニングされたモデルからデータを初めて合成し,本クラスを生成する,新しいデータ自由クラスインクリメンタルラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-26T06:20:17Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Latent Vector Expansion using Autoencoder for Anomaly Detection [1.370633147306388]
  オートエンコーダの特徴を利用して,低次元から高次元の潜在ベクトルを訓練する。 不均衡なデータの分類性能を向上させる潜在ベクトル展開オートエンコーダモデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:28:38Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Class-incremental Learning using a Sequence of Partial Implicitly Regularized Classifiers [0.0]
  クラス増分学習では、トレーニングデータ全体にアクセスすることなく、複数のクラスを順次学習することが目的である。 CIFAR100データセットの実験では、提案手法がSOTAの性能を大きなマージンで向上させることが示された。
  論文  参考訳（メタデータ） (2021-04-04T10:02:45Z)
• Feature Space Augmentation for Long-Tailed Data [74.65615132238291]
  実世界のデータは、各クラスの周波数が典型的に異なるため、長い尾の分布に従うことが多い。 データ再サンプリングと拡張に関するクラスバランス損失と高度な手法は、データの不均衡問題を解決するためのベストプラクティスのひとつです。 提案手法は,多種多様なサンプルを持つクラスから学習した特徴量を用いて,特徴空間における表現不足のクラスを増大させることによって,長鎖問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-08-09T06:38:00Z)
• ScaIL: Classifier Weights Scaling for Class Incremental Learning [12.657788362927834]
  ディープラーニングのアプローチでは、一定の計算予算は、すべてのインクリメンタルな状態に対して固定されたアーキテクチャを使用する必要がある。 境界メモリは、新しいクラスに有利なデータ不均衡を生成し、それらに対する予測バイアスが現れる。 過去のクラス分類器の重み付けを,新しいクラスに匹敵するものにするために,単純かつ効率的なスケーリングを提案する。
  論文  参考訳（メタデータ） (2020-01-16T12:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。