論文の概要: A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning
- arxiv url: http://arxiv.org/abs/2205.13218v1
- Date: Thu, 26 May 2022 08:24:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-27 13:12:11.298440
- Title: A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning
- Title(参考訳): a model or 603 exemplars: メモリ効率のよいクラスインクリメンタル学習に向けて
- Authors: Da-Wei Zhou, Qi-Wei Wang, Han-Jia Ye, De-Chuan Zhan
- Abstract要約: CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
- 参考スコア(独自算出の注目度): 56.450090618578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world applications require the classification model to adapt to new
classes without forgetting old ones. Correspondingly, Class-Incremental
Learning (CIL) aims to train a model with limited memory size to meet this
requirement. Typical CIL methods tend to save representative exemplars from
former classes to resist forgetting, while recent works find that storing
models from history can substantially boost the performance. However, the
stored models are not counted into the memory budget, which implicitly results
in unfair comparisons. We find that when counting the model size into the total
budget and comparing methods with aligned memory size, saving models do not
consistently work, especially for the case with limited memory budgets. As a
result, we need to holistically evaluate different CIL methods at different
memory scales and simultaneously consider accuracy and memory size for
measurement. On the other hand, we dive deeply into the construction of the
memory buffer for memory efficiency. By analyzing the effect of different
layers in the network, we find that shallow and deep layers have different
characteristics in CIL. Motivated by this, we propose a simple yet effective
baseline, denoted as MEMO for Memory-efficient Expandable MOdel. MEMO extends
specialized layers based on the shared generalized representations, efficiently
extracting diverse representations with modest cost and maintaining
representative exemplars. Extensive experiments on benchmark datasets validate
MEMO's competitive performance.
- Abstract(参考訳): 現実世界のアプリケーションは、古いクラスを忘れずに新しいクラスに適応するための分類モデルを必要とします。
それに対応して、クラスインクリメンタルラーニング(CIL)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目指している。
典型的なcilメソッドは、過去のクラスからの代表例を保存して忘れないようにする傾向があるが、最近の研究では、履歴からモデルを保存することでパフォーマンスが大幅に向上する可能性がある。
しかし、記憶されているモデルはメモリ予算にカウントされず、暗黙的に不公平な比較をもたらす。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,特にメモリ予算が限られている場合,保存モデルは常に機能しないことがわかった。
その結果、異なるメモリスケールで異なるCIL手法を全体評価し、同時に測定の精度とメモリサイズを考慮する必要がある。
一方,メモリ効率向上のためのメモリバッファの構築について深く検討する。
ネットワーク内の異なる層の影響を解析した結果, 浅い層と深い層はCILの異なる特性を持つことがわかった。
そこで本研究では,メモリ効率向上のための MEMO というシンプルなベースラインを提案する。
MEMOは、共有一般化表現に基づいて特殊層を拡張し、様々な表現を適度なコストで効率的に抽出し、代表例を維持する。
ベンチマークデータセットに関する大規模な実験は、MEMOの競合性能を検証する。
関連論文リスト
- What do larger image classifiers memorise? [64.01325988398838]
トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。
有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
論文 参考訳(メタデータ) (2023-10-09T01:52:07Z) - Think Before You Act: Decision Transformers with Internal Working Memory [39.321873516095714]
大規模言語モデル(LLM)に基づく意思決定エージェントは、複数のタスクをまたいで一般化する能力を示している。
この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。
本稿では,異なる下流タスクの情報を格納,ブレンド,検索するための内部動作メモリモジュールを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:20:22Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Classification and Generation of real-world data with an Associative
Memory Model [0.0]
マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。
イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
論文 参考訳(メタデータ) (2022-07-11T12:51:27Z) - Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。
このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。
モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
論文 参考訳(メタデータ) (2021-12-15T15:01:29Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳(メタデータ) (2021-02-24T19:55:49Z) - Fine-grained Classification via Categorical Memory Networks [42.413523046712896]
きめ細かい機能学習のためのクラス固有のメモリモジュールを提示する。
メモリモジュールは、各カテゴリの原型的特徴表現を移動平均として格納する。
クラス固有のメモリモジュールを標準畳み込みニューラルネットワークに統合し、カテゴリメモリネットワークを生成します。
論文 参考訳(メタデータ) (2020-12-12T11:50:13Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳(メタデータ) (2020-10-14T09:03:36Z) - Learning to Ignore: Long Document Coreference with Bounded Memory Neural
Networks [65.3963282551994]
我々は、すべてのエンティティをメモリに保持することは不要であると主張し、同時に少数のエンティティだけを追跡するメモリ拡張ニューラルネットワークを提案する。
a)OntoNotesとLitBankの高メモリ・計算要求モデルと競合する傾向にあり,(b)ルールベースの戦略よりも容易に効率の良いメモリ管理戦略を学習できることを示す。
論文 参考訳(メタデータ) (2020-10-06T15:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。