論文の概要: Memory Population in Continual Learning via Outlier Elimination
- arxiv url: http://arxiv.org/abs/2207.01145v3
- Date: Tue, 3 Oct 2023 11:10:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 11:22:26.081651
- Title: Memory Population in Continual Learning via Outlier Elimination
- Title(参考訳): 外乱除去による連続学習における記憶人口
- Authors: Julio Hurtado, Alain Raymond-Saez, Vladimir Araujo, Vincenzo Lomonaco,
Alvaro Soto, Davide Bacciu
- Abstract要約: 破滅的な忘れは、新しいタスクを学ぶ際に学習したタスクを忘れる現象であり、継続的な学習アルゴリズムを開発する上で大きなハードルとなる。
忘れを緩和する一般的な方法は、新しいタスクのトレーニングで使用する前に学習したタスク例のサブセットを格納するメモリバッファを使用することである。
本稿では,ラベル同種サブポピュレーションからサンプルを選択することにより,メモリバッファ内の外れ値の識別と除去を行うメモリ・アウトレイラ除去法(MOE)を提案する。
- 参考スコア(独自算出の注目度): 25.511380924335207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Catastrophic forgetting, the phenomenon of forgetting previously learned
tasks when learning a new one, is a major hurdle in developing continual
learning algorithms. A popular method to alleviate forgetting is to use a
memory buffer, which stores a subset of previously learned task examples for
use during training on new tasks. The de facto method of filling memory is by
randomly selecting previous examples. However, this process could introduce
outliers or noisy samples that could hurt the generalization of the model. This
paper introduces Memory Outlier Elimination (MOE), a method for identifying and
eliminating outliers in the memory buffer by choosing samples from
label-homogeneous subpopulations. We show that a space with a high homogeneity
is related to a feature space that is more representative of the class
distribution. In practice, MOE removes a sample if it is surrounded by samples
from different labels. We demonstrate the effectiveness of MOE on CIFAR-10,
CIFAR-100, and CORe50, outperforming previous well-known memory population
methods.
- Abstract(参考訳): 破滅的な忘れは、新しいタスクを学ぶ際に学習したタスクを忘れる現象であり、継続的な学習アルゴリズムを開発する上で大きなハードルとなる。
忘れを緩和する一般的な方法は、新しいタスクのトレーニングで使用する前に学習したタスク例のサブセットを格納するメモリバッファを使用することである。
メモリを埋めるデファクト方法は、前例をランダムに選択することである。
しかし、このプロセスはモデルの一般化を損なうような異常値やノイズのサンプルを導入する可能性がある。
本稿では,ラベル同種サブポピュレーションからサンプルを選択することにより,メモリバッファの外れ値の識別と除去を行うメモリアウトレイラ除去法(MOE)を提案する。
高い等質性を持つ空間は、クラス分布のより代表的な特徴空間と関連していることを示す。
実際には、moeは異なるラベルのサンプルに囲まれている場合、サンプルを削除する。
CIFAR-10, CIFAR-100, CORe50におけるMOEの有効性を示す。
関連論文リスト
- What do larger image classifiers memorise? [64.01325988398838]
トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。
有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
論文 参考訳(メタデータ) (2023-10-09T01:52:07Z) - Learning Large Scale Sparse Models [6.428186644949941]
サンプルの数や特徴次元が数百万から数十億にも達する大規模環境でスパースモデルを学習することを検討する。
ラッソのようなスパースモデルをオンライン的に学習し、ランダムに選択されたサンプルが1つだけ露呈してスパース勾配を更新することを提案する。
これにより、メモリコストはサンプルサイズに依存しず、1つのサンプルの勾配評価が効率的となる。
論文 参考訳(メタデータ) (2023-01-26T06:29:49Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Improving Task-free Continual Learning by Distributionally Robust Memory
Evolution [9.345559196495746]
タスクフリー連続学習は、明示的なタスク定義なしで非定常データストリームを学習し、以前の知識を忘れないことを目的としている。
既存の手法は、メモリデータ分布における高い不確実性を見落としている。
本稿では,メモリデータ分散を動的に進化させるためのメモリ進化フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-15T02:16:09Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳(メタデータ) (2022-05-26T08:24:01Z) - Unsupervised Outlier Detection using Memory and Contrastive Learning [53.77693158251706]
特徴空間における外乱検出は,外乱検出から外乱検出までの特徴距離を測定することで行うことができると考えている。
本稿では,メモリモジュールとコントラスト学習モジュールを用いたMCODフレームワークを提案する。
提案したMCODは高い性能を達成し,9つの最先端手法より優れる。
論文 参考訳(メタデータ) (2021-07-27T07:35:42Z) - Breadcrumbs: Adversarial Class-Balanced Sampling for Long-tailed
Recognition [95.93760490301395]
クラスごとのサンプル数が非バランスである長尾認識の問題は、考慮されます。
これは例の繰り返しサンプリングによるものであり、特徴空間拡張によって対処できると仮定される。
トレーニング中のエポック間の機能のバックトラッキングに基づく,新たな機能拡張戦略であるemanateを提案する。
新たなサンプリング手順であるbreadcrumbは、余分な計算なしで逆のクラスバランスのサンプリングを実装するために導入された。
論文 参考訳(メタデータ) (2021-05-01T00:21:26Z) - ClaRe: Practical Class Incremental Learning By Remembering Previous
Class Representations [9.530976792843495]
クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。
ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。
ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
論文 参考訳(メタデータ) (2021-03-29T10:39:42Z) - Improving memory banks for unsupervised learning with large mini-batch,
consistency and hard negative mining [61.223064077782645]
バニラメモリバンクをベースとした定式化では,3つの改良が加えられた。
我々は、同一サンプルの異なる拡張によって得られるロジットを、負のサンプルに対する差別を強制することなく、近くまで拡張することで得られるロジットを強制する。
インスタンス識別は、視覚的に類似したサンプルには意味がないため、メモリバンクを改善するための新しい近接アプローチを考案する。
論文 参考訳(メタデータ) (2021-02-08T18:56:33Z) - Memory Efficient Class-Incremental Learning for Image Classification [23.666101443616995]
クラス増分学習(class-incremental learning, CIL)は通常、新たに追加されたクラスが到着すると、共同分類モデルを更新する際に「破滅的な忘れる」問題に悩まされる。
本稿では,従来の実高忠実な模範サンプルよりも,補助的な低忠実な模範サンプルを維持することを提案する。
論文 参考訳(メタデータ) (2020-08-04T08:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。