Fugu-MT 論文翻訳(概要): NAPA-VQ: Neighborhood Aware Prototype Augmentation with Vector Quantization for Continual Learning

論文の概要: NAPA-VQ: Neighborhood Aware Prototype Augmentation with Vector Quantization for Continual Learning

arxiv url: http://arxiv.org/abs/2308.09297v1
Date: Fri, 18 Aug 2023 04:47:39 GMT
ステータス: 処理完了
システム内更新日: 2023-08-21 14:34:28.251075
Title: NAPA-VQ: Neighborhood Aware Prototype Augmentation with Vector Quantization for Continual Learning
Title（参考訳）: NAPA-VQ:連続学習のためのベクトル量子化による周辺環境対応型拡張
Authors: Tamasha Malepathirana, Damith Senanayake, Saman Halgamuge
Abstract要約: 破滅的な忘れは、新しい知識の獲得による古い知識の喪失であり、現実世界のアプリケーションでディープニューラルネットワークが直面している落とし穴である。 NECILにおけるクラスオーバーラップを低減するフレームワークであるベクトル量子化による近隣のAware Prototype Augmentationを提案する。 CIFAR-100, TinyImageNet, ImageNet-Subsetの総合的な実験により, NAPA-VQは平均5%, 2%, 4%の精度, 10%, 3%, 9%の精度でNAPA-VQよりも優れていた。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Catastrophic forgetting; the loss of old knowledge upon acquiring new knowledge, is a pitfall faced by deep neural networks in real-world applications. Many prevailing solutions to this problem rely on storing exemplars (previously encountered data), which may not be feasible in applications with memory limitations or privacy constraints. Therefore, the recent focus has been on Non-Exemplar based Class Incremental Learning (NECIL) where a model incrementally learns about new classes without using any past exemplars. However, due to the lack of old data, NECIL methods struggle to discriminate between old and new classes causing their feature representations to overlap. We propose NAPA-VQ: Neighborhood Aware Prototype Augmentation with Vector Quantization, a framework that reduces this class overlap in NECIL. We draw inspiration from Neural Gas to learn the topological relationships in the feature space, identifying the neighboring classes that are most likely to get confused with each other. This neighborhood information is utilized to enforce strong separation between the neighboring classes as well as to generate old class representative prototypes that can better aid in obtaining a discriminative decision boundary between old and new classes. Our comprehensive experiments on CIFAR-100, TinyImageNet, and ImageNet-Subset demonstrate that NAPA-VQ outperforms the State-of-the-art NECIL methods by an average improvement of 5%, 2%, and 4% in accuracy and 10%, 3%, and 9% in forgetting respectively. Our code can be found in https://github.com/TamashaM/NAPA-VQ.git.
Abstract（参考訳）: 破滅的な忘れ; 新しい知識を得る際の古い知識の喪失は、現実世界のアプリケーションにおいてディープニューラルネットワークが直面する落とし穴である。この問題に対する一般的なソリューションの多くは、メモリ制限やプライバシ制約のあるアプリケーションでは実現不可能な、前例(以前遭遇したデータ)の保存に依存している。したがって、最近の焦点は、非例ベースのクラスインクリメンタルラーニング(necil)であり、モデルが過去の例を使わずに新しいクラスについてインクリメンタルに学習する。しかし、古いデータがないため、necilメソッドは古いクラスと新しいクラスを区別するのに苦労し、その特徴表現が重複する。 NECILにおけるクラスオーバーラップを低減するフレームワークであるベクトル量子化による近隣のAware Prototype Augmentationを提案する。ニューラルガスからインスピレーションを得て、特徴空間におけるトポロジ的関係を学習し、互いに混同される可能性が最も高い隣のクラスを特定する。この近傍情報は、近隣クラス間の強固な分離を強制するとともに、旧クラスと新クラス間の判別的決定境界を得るのに役立つ旧クラス代表プロトタイプを生成するために利用される。 CIFAR-100, TinyImageNet, ImageNet-Subsetの総合的な実験により, NAPA-VQは平均5%, 2%, 4%の精度, 10%, 3%, 9%の精度でNAPA-VQよりも優れていた。私たちのコードはhttps://github.com/TamashaM/NAPA-VQ.gitにある。

関連論文リスト

Happy: A Debiased Learning Framework for Continual Generalized Category Discovery [54.54153155039062]
本稿では,C-GCD(Continuous Generalized Category Discovery)の未探索課題について考察する。 C-GCDは、学習済みのクラスを認識する能力を維持しながら、ラベルのないデータから新しいクラスを漸進的に発見することを目的としている。本稿では,ハードネスを意識したプロトタイプサンプリングとソフトエントロピー正規化を特徴とする,偏りのある学習フレームワークであるHappyを紹介する。
論文参考訳（メタデータ） (2024-10-09T04:18:51Z)
PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning [49.240408681098906]
クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。本稿では、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。
論文参考訳（メタデータ） (2024-07-19T05:03:16Z)
Towards Non-Exemplar Semi-Supervised Class-Incremental Learning [33.560003528712414]
クラス増分学習は、古いクラスの識別性を保ちながら、新しいクラスを徐々に認識することを目的としている。コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を用いた非経験的半教師付きCILフレームワークを提案する。 Semi-IPCは教師なしの正規化で各クラスのプロトタイプを学習し、部分的にラベル付けされた新しいデータからモデルを漸進的に学習することを可能にする。
論文参考訳（メタデータ） (2024-03-27T06:28:19Z)
CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar Class-Incremental Learning [34.59310641291726]
現実のアプリケーションでは、動的シナリオは、古い知識を忘れずに新しいタスクを継続的に学習する能力を持つ必要がある。連続膨張吸収変圧器(CEAT)という新しいアーキテクチャを提案する。このモデルは、凍結した前のパラメータと平行に拡散層を拡張することで、新しい知識を学ぶことができる。モデルの学習能力を向上させるために,特徴空間における古クラスと新クラスの重複を低減するために,新しいプロトタイプを設計した。
論文参考訳（メタデータ） (2024-03-11T12:40:12Z)
Class Incremental Learning with Self-Supervised Pre-Training and Prototype Learning [21.901331484173944]
授業の段階的学習における破滅的忘れの原因を分析した。固定エンコーダと漸進的に更新されたプロトタイプ分類器を備えた2段階学習フレームワークを提案する。本手法は古いクラスを保存したサンプルに頼らず,非例ベースのCIL法である。
論文参考訳（メタデータ） (2023-08-04T14:20:42Z)
Class-Incremental Learning: A Survey [84.30083092434938]
CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文参考訳（メタデータ） (2023-02-07T17:59:05Z)
Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文参考訳（メタデータ） (2023-02-06T18:39:40Z)
Evidential Deep Learning for Class-Incremental Semantic Segmentation [15.563703446465823]
クラス増分学習(Class-Incremental Learning)は、以前トレーニングされたニューラルネットワークを新しいクラスに拡張することを目的とした機械学習の課題である。本稿では、将来的な非相関クラスの特徴クラスタリングを回避しつつ、ラベルのないクラスをモデル化する方法の問題に対処する。提案手法は,この問題をディリクレ分布の期待値と推定の不確実性に対応する未知のクラス(背景)確率で計算した,別のフォアグラウンドクラス確率に分解する。
論文参考訳（メタデータ） (2022-12-06T10:13:30Z)
Novel Class Discovery without Forgetting [72.52222295216062]
我々は NCDwF: Novel Class Discovery without Forgetting の新たな実用的問題設定を特定し,定式化する。ラベルのないデータから新しいカテゴリのインスタンスを段階的に発見する機械学習モデルを提案する。 CIFAR-10, CIFAR-100, ImageNet-1000に基づく実験プロトコルを導入し, 知識保持と新しいクラス発見のトレードオフを測定する。
論文参考訳（メタデータ） (2022-07-21T17:54:36Z)
Few-Shot Object Detection via Association and DIscrimination [83.8472428718097]
AssociationとDIscriminationによるオブジェクト検出は、新しいクラスごとに2つのステップで識別可能な特徴空間を構築している。 Pascal VOCとMS-COCOデータセットの実験では、FADIは新しいSOTAパフォーマンスを実現し、ショット/スプリットのベースラインを+18.7で大幅に改善した。
論文参考訳（メタデータ） (2021-11-23T05:04:06Z)
Memory-Free Generative Replay For Class-Incremental Learning [32.39857105540859]
本研究では,メモリフリーな生成再生戦略を提案し,クラス特性の微粒化を抑える。本手法は,従来のクラスを識別しやすくするために有効であることが証明された事前正規化に基づく手法によって最もよく補完される。
論文参考訳（メタデータ） (2021-09-01T12:19:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。