論文の概要: AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning

• arxiv url: http://arxiv.org/abs/2305.11488v1
• Date: Fri, 19 May 2023 07:39:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 15:44:54.678074
• Title: AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning
• Title（参考訳）: AttriCLIP : インクリメンタル知識学習のための非インクリメンタル学習システム
• Authors: Runqi Wang, Xiaoyue Duan, Guoliang Kang, Jianzhuang Liu, Shaohui Lin, Songcen Xu, Jinhu Lv, Baochang Zhang
• Abstract要約: 連続学習は、モデルが逐次到着したデータから段階的に知識を学習できるようにすることを目的としている。 本稿では,新しいクラスやタスクの知識を段階的に抽出する,AttriCLIPという非インクリメンタル学習手法を提案する。
• 参考スコア（独自算出の注目度）: 54.66912435998658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to enable a model to incrementally learn knowledge from sequentially arrived data. Previous works adopt the conventional classification architecture, which consists of a feature extractor and a classifier. The feature extractor is shared across sequentially arrived tasks or classes, but one specific group of weights of the classifier corresponding to one new class should be incrementally expanded. Consequently, the parameters of a continual learner gradually increase. Moreover, as the classifier contains all historical arrived classes, a certain size of the memory is usually required to store rehearsal data to mitigate classifier bias and catastrophic forgetting. In this paper, we propose a non-incremental learner, named AttriCLIP, to incrementally extract knowledge of new classes or tasks. Specifically, AttriCLIP is built upon the pre-trained visual-language model CLIP. Its image encoder and text encoder are fixed to extract features from both images and text. Text consists of a category name and a fixed number of learnable parameters which are selected from our designed attribute word bank and serve as attributes. As we compute the visual and textual similarity for classification, AttriCLIP is a non-incremental learner. The attribute prompts, which encode the common knowledge useful for classification, can effectively mitigate the catastrophic forgetting and avoid constructing a replay memory. We evaluate our AttriCLIP and compare it with CLIP-based and previous state-of-the-art continual learning methods in realistic settings with domain-shift and long-sequence learning. The results show that our method performs favorably against previous state-of-the-arts. The implementation code can be available at https://github.com/bhrqw/AttriCLIP.
• Abstract（参考訳）: 連続学習は、モデルが逐次到着したデータから徐々に知識を学習できるようにすることを目的としている。 以前の作品は、特徴抽出器と分類器からなる従来の分類アーキテクチャを採用している。 特徴抽出器は順次到着したタスクやクラス間で共有されるが、新しいクラスに対応する分類器の重みの1つの特定のグループをインクリメンタルに拡張する必要がある。 その結果、連続学習者のパラメータは徐々に増加する。 さらに、分類器は歴史的に到達した全てのクラスを含んでいるため、記憶の特定のサイズは、分類器バイアスと破滅的な忘れを緩和するためにリハーサルデータを格納する必要がある。 本稿では,新しいクラスやタスクの知識を段階的に抽出する,AttriCLIPという非インクリメンタル学習手法を提案する。 具体的には、AttriCLIPは事前訓練されたビジュアル言語モデルCLIPに基づいている。 画像エンコーダとテキストエンコーダは、画像とテキストの両方から特徴を抽出するために固定されている。 テキストはカテゴリ名と,設計した属性単語バンクから選択され,属性として機能する,一定の数の学習可能なパラメータから構成される。 分類のための視覚的およびテキスト的類似性を計算すると、AttriCLIPは非インクリメンタル学習者となる。 属性プロンプトは、分類に有用な共通知識をエンコードし、壊滅的な忘れを効果的に軽減し、リプレイメモリの構築を避けることができる。 我々はAttriCLIPを評価し,CLIPをベースとした従来の最先端の連続学習手法と比較した。 その結果,本手法は従来の最先端技術に対して良好に動作することがわかった。 実装コードはhttps://github.com/bhrqw/AttriCLIPで入手できる。

関連論文リスト

• Finetuning CLIP to Reason about Pairwise Differences [52.028073305958074]
  本稿では,CLIPのような視覚言語モデルの学習手法を提案する。 我々はまず,ある属性による画像のランク付け能力を大幅に向上させることを実証した。 また、得られる埋め込みは埋め込み空間においてより大きな幾何学的性質に従うことを示す。
  論文  参考訳（メタデータ） (2024-09-15T13:02:14Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Incremental Object Detection with CLIP [36.478530086163744]
  そこで本研究では,CLIPなどの視覚言語モデルを用いて,異なるクラス集合に対するテキスト特徴埋め込みを生成する。 次に、段階的なシナリオをシミュレートするために、早期の学習段階において利用できない新しいクラスを置き換えるために、スーパークラスを使用します。 そこで我々は,この微妙に認識された検出ボックスを擬似アノテーションとしてトレーニングプロセスに組み込むことにより,検出性能をさらに向上させる。
  論文  参考訳（メタデータ） (2023-10-13T01:59:39Z)
• InfoCL: Alleviating Catastrophic Forgetting in Continual Text Classification from An Information Theoretic Perspective [44.961805748830066]
  我々は,クラスインクリメンタルな設定の下での連続的なテキスト分類に焦点をあてる。 近年の研究では、類似クラスの性能低下を忘れる重要な要因として挙げている。 本稿では,リプレイに基づく連続テキスト分類手法InfoCLを提案する。
  論文  参考訳（メタデータ） (2023-10-10T07:00:13Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• OrdinalCLIP: Learning Rank Prompts for Language-Guided Ordinal Regression [94.28253749970534]
  我々は、リッチなセマンティックCLIP潜在空間からランクの概念を学ぶことを提案する。 OrdinalCLIPは学習可能なコンテキストトークンと学習可能なランク埋め込みで構成されている。 実験結果から,本パラダイムは一般順序回帰タスクにおける競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-06T03:54:53Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Class-incremental Learning with Pre-allocated Fixed Classifiers [20.74548175713497]
  クラス増分学習では、学習エージェントは、前のクラスを忘れずに新しいクラスを学ぶことを目標として、データのストリームに直面します。 本稿では,複数の事前配置された出力ノードが学習フェーズの開始時から,その分類損失に正しく対応できる新しい固定分類器を提案する。
  論文  参考訳（メタデータ） (2020-10-16T22:40:28Z)
• Learning Class Regularized Features for Action Recognition [68.90994813947405]
  本稿では,階層活性化のクラスベース正規化を行うクラス正規化手法を提案する。 動作認識に最先端CNNアーキテクチャのクラス正規化ブロックを用いることで,Kineetics,UCF-101,HMDB-51データセットにおいて,それぞれ1.8%,1.2%,1.4%の体系的改善が得られた。
  論文  参考訳（メタデータ） (2020-02-07T07:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。