論文の概要: Prototypical quadruplet for few-shot class incremental learning
- arxiv url: http://arxiv.org/abs/2211.02947v2
- Date: Wed, 9 Nov 2022 17:55:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 15:45:17.976868
- Title: Prototypical quadruplet for few-shot class incremental learning
- Title（参考訳）: 数ショットクラスインクリメンタルラーニングのためのプロトタイプ四脚
- Authors: Sanchar Palit, Biplab Banerjee, Subhasis Chaudhuri
- Abstract要約: コンピュータビジョンアルゴリズムは、データの不足と新しいタスクの漸進的な学習という2つの大きなボトルネックに悩まされている。
これら2つの大きなハードルに対処する新しい方法を提案する。
我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を維持できる。
- 参考スコア（独自算出の注目度）: 24.814045065163135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many modern computer vision algorithms suffer from two major bottlenecks:
scarcity of data and learning new tasks incrementally. While training the model
with new batches of data the model looses it's ability to classify the previous
data judiciously which is termed as catastrophic forgetting. Conventional
methods have tried to mitigate catastrophic forgetting of the previously
learned data while the training at the current session has been compromised.
The state-of-the-art generative replay based approaches use complicated
structures such as generative adversarial network (GAN) to deal with
catastrophic forgetting. Additionally, training a GAN with few samples may lead
to instability. In this work, we present a novel method to deal with these two
major hurdles. Our method identifies a better embedding space with an improved
contrasting loss to make classification more robust. Moreover, our approach is
able to retain previously acquired knowledge in the embedding space even when
trained with new classes. We update previous session class prototypes while
training in such a way that it is able to represent the true class mean. This
is of prime importance as our classification rule is based on the nearest class
mean classification strategy. We have demonstrated our results by showing that
the embedding space remains intact after training the model with new classes.
We showed that our method preformed better than the existing state-of-the-art
algorithms in terms of accuracy across different sessions.
- Abstract（参考訳）: 現代のコンピュータビジョンアルゴリズムの多くは、データの不足と新しいタスクの段階的な学習という2つの大きなボトルネックに悩まされている。
モデルが新しいデータバッチでモデルをトレーニングしている間、モデルは以前のデータを無秩序に分類する能力を失います。
従来の方法では、これまでの学習したデータの破滅的な忘れを軽減しつつ、現在のセッションでのトレーニングが妥協されている。
最先端のジェネレーティブ・リプレイベースのアプローチは、ジェネレーティブ・逆境ネットワーク(GAN)のような複雑な構造を使って破滅的な忘れ物に対処する。
さらに、サンプルが少ないGANのトレーニングは不安定につながる可能性がある。
本稿では,これら2つの大きなハードルに対処する新しい手法を提案する。
提案手法では, コントラスト損失が向上し, より堅牢な埋め込み空間を同定する。
さらに,本手法では,新しいクラスで学習した場合でも,組込み空間における事前の知識を保持できる。
真のクラス平均を表現することができるようにトレーニングしながら、以前のセッションクラスのプロトタイプを更新します。
我々の分類規則は最寄りのクラス平均分類戦略に基づいているので、これは最も重要なことです。
我々は、新しいクラスでモデルをトレーニングした後も埋め込み空間が無傷であることを示し、その結果を実証した。
提案手法は,各セッションの精度において,既存の最先端アルゴリズムよりも優れていた。
関連論文リスト
- Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。
提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
論文 参考訳（メタデータ） (2024-05-17T19:49:02Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Segue: Side-information Guided Generative Unlearnable Examples for
Facial Privacy Protection in Real World [64.4289385463226]
生成不可能な例としては、Segue: Side-information guided Generative unlearnable Exampleを提案する。
転送性を向上させるために,真のラベルや擬似ラベルなどの側面情報を導入する。
JPEG圧縮、敵対的トレーニング、およびいくつかの標準的なデータ拡張に抵抗することができる。
論文 参考訳（メタデータ） (2023-10-24T06:22:37Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Continual Learning with Pretrained Backbones by Tuning in the Input
Space [44.97953547553997]
ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。
ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
論文 参考訳（メタデータ） (2023-06-05T15:11:59Z) - Prototype-Sample Relation Distillation: Towards Replay-Free Continual
Learning [14.462797749666992]
本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。
本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。
この手法はタスクインクリメンタル設定における最先端性能を得る。
論文 参考訳（メタデータ） (2023-03-26T16:35:45Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Continual Semantic Segmentation via Repulsion-Attraction of Sparse and
Disentangled Latent Representations [18.655840060559168]
本稿では,セマンティックセグメンテーションにおけるクラス連続学習に着目した。
新しいカテゴリは時間とともに利用可能になり、以前のトレーニングデータは保持されない。
提案された連続学習スキームは、潜在空間を形作り、新しいクラスの認識を改善しながら忘れを減らす。
論文 参考訳（メタデータ） (2021-03-10T21:02:05Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳（メタデータ） (2020-12-31T08:21:37Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳（メタデータ） (2020-08-31T04:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。