論文の概要: A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2205.13218v1
• Date: Thu, 26 May 2022 08:24:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 13:12:11.298440
• Title: A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning
• Title（参考訳）: a model or 603 exemplars: メモリ効率のよいクラスインクリメンタル学習に向けて
• Authors: Da-Wei Zhou, Qi-Wei Wang, Han-Jia Ye, De-Chuan Zhan
• Abstract要約: CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
• 参考スコア（独自算出の注目度）: 56.450090618578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world applications require the classification model to adapt to new classes without forgetting old ones. Correspondingly, Class-Incremental Learning (CIL) aims to train a model with limited memory size to meet this requirement. Typical CIL methods tend to save representative exemplars from former classes to resist forgetting, while recent works find that storing models from history can substantially boost the performance. However, the stored models are not counted into the memory budget, which implicitly results in unfair comparisons. We find that when counting the model size into the total budget and comparing methods with aligned memory size, saving models do not consistently work, especially for the case with limited memory budgets. As a result, we need to holistically evaluate different CIL methods at different memory scales and simultaneously consider accuracy and memory size for measurement. On the other hand, we dive deeply into the construction of the memory buffer for memory efficiency. By analyzing the effect of different layers in the network, we find that shallow and deep layers have different characteristics in CIL. Motivated by this, we propose a simple yet effective baseline, denoted as MEMO for Memory-efficient Expandable MOdel. MEMO extends specialized layers based on the shared generalized representations, efficiently extracting diverse representations with modest cost and maintaining representative exemplars. Extensive experiments on benchmark datasets validate MEMO's competitive performance.
• Abstract（参考訳）: 現実世界のアプリケーションは、古いクラスを忘れずに新しいクラスに適応するための分類モデルを必要とします。 それに対応して、クラスインクリメンタルラーニング(CIL)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目指している。 典型的なcilメソッドは、過去のクラスからの代表例を保存して忘れないようにする傾向があるが、最近の研究では、履歴からモデルを保存することでパフォーマンスが大幅に向上する可能性がある。 しかし、記憶されているモデルはメモリ予算にカウントされず、暗黙的に不公平な比較をもたらす。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,特にメモリ予算が限られている場合,保存モデルは常に機能しないことがわかった。 その結果、異なるメモリスケールで異なるCIL手法を全体評価し、同時に測定の精度とメモリサイズを考慮する必要がある。 一方,メモリ効率向上のためのメモリバッファの構築について深く検討する。 ネットワーク内の異なる層の影響を解析した結果, 浅い層と深い層はCILの異なる特性を持つことがわかった。 そこで本研究では,メモリ効率向上のための MEMO というシンプルなベースラインを提案する。 MEMOは、共有一般化表現に基づいて特殊層を拡張し、様々な表現を適度なコストで効率的に抽出し、代表例を維持する。 ベンチマークデータセットに関する大規模な実験は、MEMOの競合性能を検証する。

関連論文リスト

• AMES: Asymmetric and Memory-Efficient Similarity Estimation for Instance-level Retrieval [14.009257997448634]
  本研究は,メモリ効率の制約を考慮に入れたインスタンスレベルの画像検索の問題について検討する。 提案モデルは、画像と画像の類似性を推定するために設計されたトランスフォーマーベースのアーキテクチャを使用する。 標準ベンチマークの結果は、手作りモデルと学習モデルの両方に対するアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2024-08-06T16:29:51Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Classification and Generation of real-world data with an Associative Memory Model [0.0]
  マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。 イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
  論文  参考訳（メタデータ） (2022-07-11T12:51:27Z)
• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)
• Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
  ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。 本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。 性能を維持しながらメモリフットプリントの大幅な削減を示す。
  論文  参考訳（メタデータ） (2021-02-24T19:55:49Z)
• Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
  本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。 我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
  論文  参考訳（メタデータ） (2020-10-14T09:03:36Z)
• Learning to Ignore: Long Document Coreference with Bounded Memory Neural Networks [65.3963282551994]
  我々は、すべてのエンティティをメモリに保持することは不要であると主張し、同時に少数のエンティティだけを追跡するメモリ拡張ニューラルネットワークを提案する。 a)OntoNotesとLitBankの高メモリ・計算要求モデルと競合する傾向にあり,(b)ルールベースの戦略よりも容易に効率の良いメモリ管理戦略を学習できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T15:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。