論文の概要: ScaIL: Classifier Weights Scaling for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2001.05755v1
• Date: Thu, 16 Jan 2020 12:10:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 00:21:39.540967
• Title: ScaIL: Classifier Weights Scaling for Class Incremental Learning
• Title（参考訳）: scail: クラスインクリメンタル学習のためのスケーリングの重み付け
• Authors: Eden Belouadah and Adrian Popescu
• Abstract要約: ディープラーニングのアプローチでは、一定の計算予算は、すべてのインクリメンタルな状態に対して固定されたアーキテクチャを使用する必要がある。 境界メモリは、新しいクラスに有利なデータ不均衡を生成し、それらに対する予測バイアスが現れる。 過去のクラス分類器の重み付けを,新しいクラスに匹敵するものにするために,単純かつ効率的なスケーリングを提案する。
• 参考スコア（独自算出の注目度）: 12.657788362927834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incremental learning is useful if an AI agent needs to integrate data from a stream. The problem is non trivial if the agent runs on a limited computational budget and has a bounded memory of past data. In a deep learning approach, the constant computational budget requires the use of a fixed architecture for all incremental states. The bounded memory generates data imbalance in favor of new classes and a prediction bias toward them appears. This bias is commonly countered by introducing a data balancing step in addition to the basic network training. We depart from this approach and propose simple but efficient scaling of past class classifier weights to make them more comparable to those of new classes. Scaling exploits incremental state level statistics and is applied to the classifiers learned in the initial state of classes in order to profit from all their available data. We also question the utility of the widely used distillation loss component of incremental learning algorithms by comparing it to vanilla fine tuning in presence of a bounded memory. Evaluation is done against competitive baselines using four public datasets. Results show that the classifier weights scaling and the removal of the distillation are both beneficial.
• Abstract（参考訳）: インクリメンタル学習は、AIエージェントがストリームからデータを統合する必要がある場合に有用である。 エージェントが限られた計算予算で動作し、過去のデータの境界メモリを持つ場合、問題は自明ではない。 ディープラーニングのアプローチでは、一定の計算予算は、すべてのインクリメンタルな状態に対して固定されたアーキテクチャを使用する必要がある。 境界メモリは新しいクラスに有利なデータ不均衡を生成し、それらに対する予測バイアスが現れる。 このバイアスは、基本的なネットワークトレーニングに加えて、データバランシングのステップを導入することで対処される。 このアプローチから離れ、新しいクラスのクラスに匹敵するように、過去のクラス分類器の重み付けの単純かつ効率的なスケーリングを提案する。 スケーリングはインクリメンタルな状態レベルの統計を利用しており、クラスの初期状態で学んだ分類器に適用され、利用可能なすべてのデータから利益を得る。 また,境界メモリの存在下でのバニラ微調整と比較することにより,インクリメンタル学習アルゴリズムの広く用いられている蒸留損失成分の有用性を疑問視する。 4つのパブリックデータセットを使用して、競争ベースラインに対して評価を行う。 以上の結果から, 分類器のスケーリングと蒸留の除去が有用であることが示唆された。

関連論文リスト

• Online Nonparametric Supervised Learning for Massive Data [0.0]
  本研究では,非パラメトリック分類器を大規模にリアルタイムに計算する高速アルゴリズムと,ストリーミングデータフレームワークを開発した。 提案手法は、リアルタイムな胎児の健康モニタリングによく使用される機械学習アルゴリズムと比較して評価・比較する。
  論文  参考訳（メタデータ） (2024-05-29T20:04:23Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Deep Imbalanced Regression via Hierarchical Classification Adjustment [50.19438850112964]
  コンピュータビジョンにおける回帰タスクは、しばしば、対象空間をクラスに定量化することで分類される。 トレーニングサンプルの大多数は目標値の先頭にあるが、少数のサンプルは通常より広い尾幅に分布する。 不均衡回帰タスクを解くために階層型分類器を構築することを提案する。 不均衡回帰のための新しい階層型分類調整(HCA)は,3つのタスクにおいて優れた結果を示す。
  論文  参考訳（メタデータ） (2023-10-26T04:54:39Z)
• AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning [53.32576252950481]
  連続学習は、モデルが逐次到着したデータから段階的に知識を学習できるようにすることを目的としている。 本稿では,新しいクラスやタスクの知識を段階的に抽出する,AttriCLIPという非インクリメンタル学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T07:39:17Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• A Comparative Study of Calibration Methods for Imbalanced Class Incremental Learning [10.680349952226935]
  不均衡なデータセットから漸進的に学習する問題を考察する。 インクリメンタルな状態にまたがって古いクラスの例を格納するために、バウンダリメモリを使用します。 より単純なバニラファインチューニングは、不均衡なインクリメンタル学習アルゴリズムのための強力なバックボーンであることを示す。
  論文  参考訳（メタデータ） (2022-02-01T12:56:17Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• ClaRe: Practical Class Incremental Learning By Remembering Previous Class Representations [9.530976792843495]
  クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。 ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。 ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
  論文  参考訳（メタデータ） (2021-03-29T10:39:42Z)
• Initial Classifier Weights Replay for Memoryless Class Incremental Learning [11.230170401360633]
  インクリメンタルラーニング(IL)は、人工システムがデータのストリームを扱う必要があり、常にすべてのデータにアクセスできない場合に有用である。 バニラ微調整バックボーンに基づく別のアプローチを提案する。 我々は、メモリレスインクリメンタルな学習環境で、4つの公開データセットで徹底的な評価を行う。
  論文  参考訳（メタデータ） (2020-08-31T16:18:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。