論文の概要: Memory-Efficient Incremental Learning Through Feature Adaptation

• arxiv url: http://arxiv.org/abs/2004.00713v2
• Date: Mon, 24 Aug 2020 21:44:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-17 19:13:29.699574
• Title: Memory-Efficient Incremental Learning Through Feature Adaptation
• Title（参考訳）: 特徴適応によるメモリ効率の高いインクリメンタル学習
• Authors: Ahmet Iscen, Jeffrey Zhang, Svetlana Lazebnik, Cordelia Schmid
• Abstract要約: 本稿では,以前学習したクラスから,画像の特徴記述子を保存するインクリメンタルラーニングのアプローチを提案する。 画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。 実験の結果,インクリメンタルラーニングベンチマークにおいて,最先端の分類精度が得られた。
• 参考スコア（独自算出の注目度）: 71.1449769528535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce an approach for incremental learning that preserves feature descriptors of training images from previously learned classes, instead of the images themselves, unlike most existing work. Keeping the much lower-dimensional feature embeddings of images reduces the memory footprint significantly. We assume that the model is updated incrementally for new classes as new data becomes available sequentially.This requires adapting the previously stored feature vectors to the updated feature space without having access to the corresponding original training images. Feature adaptation is learned with a multi-layer perceptron, which is trained on feature pairs corresponding to the outputs of the original and updated network on a training image. We validate experimentally that such a transformation generalizes well to the features of the previous set of classes, and maps features to a discriminative subspace in the feature space. As a result, the classifier is optimized jointly over new and old classes without requiring old class images. Experimental results show that our method achieves state-of-the-art classification accuracy in incremental learning benchmarks, while having at least an order of magnitude lower memory footprint compared to image-preserving strategies.
• Abstract（参考訳）: 我々は,既存のほとんどの作業と異なり,画像そのものではなく,事前学習したクラスからのトレーニング画像の特徴記述子を保持するインクリメンタル学習のアプローチを導入する。 画像のより低次元の機能埋め込みを維持することで、メモリフットプリントが大幅に削減される。 我々は、新しいデータがシーケンシャルに利用可能になると、モデルが新しいクラスのために段階的に更新されると仮定し、それに対応する元のトレーニング画像にアクセスすることなく、事前に保存された特徴ベクトルを更新された特徴空間に適応させる必要がある。 特徴適応は、トレーニング画像上のオリジナルおよび更新されたネットワークの出力に対応する特徴対に基づいて訓練される多層パーセプトロンを用いて学習される。 このような変換が前のクラスの特徴にうまく一般化できることを実験的に検証し、特徴空間の判別部分空間に特徴を写像する。 その結果、古いクラスイメージを必要とせずに、新しいクラスと古いクラスを共同で最適化する。 実験結果から,本手法は画像保存戦略よりもメモリフットプリントが桁違いに小さいため,段階的学習ベンチマークにおいて最先端の分類精度が得られた。

関連論文リスト

• Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis [21.348252135252412]
  現在のNon-Exemplar Class-Incremental Learning (NECIL)メソッドは、クラス毎に1つのプロトタイプを格納することで、忘れを軽減している。 そこで本研究では,より効率的なNECIL手法を提案する。 提案手法は,非経験的クラスインクリメンタル学習の効率を大幅に向上させ,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-11-03T07:19:11Z)
• Feature Expansion and enhanced Compression for Class Incremental Learning [3.3425792454347616]
  本稿では,従来のクラスサンプルのパッチを圧縮中に新しいイメージに切り混ぜることで,従来のクラス知識の圧縮を強化するアルゴリズムを提案する。 この新たなデータ拡張により,過去のクラス情報を特にターゲットとし,圧縮を改善することで,破滅的な忘れを低減できることを示す。
  論文  参考訳（メタデータ） (2024-05-13T06:57:18Z)
• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
  本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。 いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
  論文  参考訳（メタデータ） (2023-10-31T10:45:03Z)
• DiffusePast: Diffusion-based Generative Replay for Class Incremental Semantic Segmentation [73.54038780856554]
  クラスインクリメンタルセマンティック(CISS)は、新たに追加されたクラスを漸進的に学習することで、従来のセグメンテーションタスクを拡張する。 これは、事前訓練されたGANから生成された古いクラスサンプルを再生するものである。 そこで我々はDiffusePastを提案する。DiffusePastは拡散型生成再生モジュールを特徴とする新しいフレームワークで、異なる命令でより信頼性の高いマスクで意味論的に正確な画像を生成する。
  論文  参考訳（メタデータ） (2023-08-02T13:13:18Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• CoReS: Compatible Representations via Stationarity [20.607894099896214]
  ビジュアルサーチシステムでは、互換性のある機能により、古い機能と新しい機能を直接比較することができ、時間とともに相互に使用することができる。 従来学習されていた表現とテキスト互換の表現を学習するための新しい訓練手法であるCoReSを提案する。 トレーニングセットの更新を複数行う場合,我々のトレーニング手順が現在の技術よりも優れており,特に有効であることを示す。
  論文  参考訳（メタデータ） (2021-11-15T09:35:54Z)
• Instance Localization for Self-supervised Detection Pretraining [68.24102560821623]
  インスタンスローカリゼーションと呼ばれる,新たな自己監視型プリテキストタスクを提案する。 境界ボックスを事前学習に組み込むことで、より優れたタスクアライメントとアーキテクチャアライメントが促進されることを示す。 実験結果から, オブジェクト検出のための最先端の転送学習結果が得られた。
  論文  参考訳（メタデータ） (2021-02-16T17:58:57Z)
• On the Exploration of Incremental Learning for Fine-grained Image Retrieval [45.48333682748607]
  我々は,新たなカテゴリが時間とともに追加される場合に,細粒度画像検索の問題を漸進的に考慮する。 本稿では,検索性能の劣化を抑えるための漸進学習手法を提案する。 提案手法は,新しいクラスにおいて高い性能を保ちながら,元のクラスにおける破滅的な忘れを効果的に軽減する。
  論文  参考訳（メタデータ） (2020-10-15T21:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。