論文の概要: LVP-CLIP:Revisiting CLIP for Continual Learning with Label Vector Pool

• arxiv url: http://arxiv.org/abs/2412.05840v1
• Date: Sun, 08 Dec 2024 07:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:55:08.152704
• Title: LVP-CLIP:Revisiting CLIP for Continual Learning with Label Vector Pool
• Title（参考訳）: LVP-CLIP:ラベルベクタープールを用いた連続学習のためのCLIPの再検討
• Authors: Yue Ma, Huantao Ren, Boyu Wang, Jingang Jin, Senem Velipasalar, Qinru Qiu,
• Abstract要約: 継続的学習は、以前獲得した知識を忘れずに、逐次新しいタスクを学習できるようにモデルを更新することを目的としている。 最近の連続学習アプローチでは、高次元特徴空間と多次元特徴マッチングに視覚言語モデルCLIPを利用することが多い。 本稿では,CLIPに基づく連続学習を再考し,ラベルベクトルプール(LVP)の概念を導入する。LVPはテキストラベルを類似性参照としてトレーニングイメージに置き換え,理想的なテキスト記述の必要性を排除している。
• 参考スコア（独自算出の注目度）: 14.103314351695646
• License:
• Abstract: Continual learning aims to update a model so that it can sequentially learn new tasks without forgetting previously acquired knowledge. Recent continual learning approaches often leverage the vision-language model CLIP for its high-dimensional feature space and cross-modality feature matching. Traditional CLIP-based classification methods identify the most similar text label for a test image by comparing their embeddings. However, these methods are sensitive to the quality of text phrases and less effective for classes lacking meaningful text labels. In this work, we rethink CLIP-based continual learning and introduce the concept of Label Vector Pool (LVP). LVP replaces text labels with training images as similarity references, eliminating the need for ideal text descriptions. We present three variations of LVP and evaluate their performance on class and domain incremental learning tasks. Leveraging CLIP's high dimensional feature space, LVP learning algorithms are task-order invariant. The new knowledge does not modify the old knowledge, hence, there is minimum forgetting. Different tasks can be learned independently and in parallel with low computational and memory demands. Experimental results show that proposed LVP-based methods outperform the current state-of-the-art baseline by a significant margin of 40.7%.
• Abstract（参考訳）: 継続的学習は、以前獲得した知識を忘れずに、逐次新しいタスクを学習できるようにモデルを更新することを目的としている。 最近の連続学習アプローチでは、高次元特徴空間と多次元特徴マッチングに視覚言語モデルCLIPを利用することが多い。 従来のCLIPベースの分類手法は、埋め込みを比較することで、テスト画像の最も類似したテキストラベルを識別する。 しかし、これらの手法はテキストフレーズの品質に敏感であり、意味のあるテキストラベルを持たないクラスでは効果が低い。 本稿では,CLIPに基づく連続学習を再考し,ラベルベクトルプール(LVP)の概念を導入する。 LVPはテキストラベルを類似性参照としてトレーニングイメージに置き換え、理想的なテキスト記述の必要性を排除している。 本稿では,LVPの3つのバリエーションを示し,クラスおよびドメインの漸進的な学習課題における性能評価を行う。 CLIPの高次元特徴空間を活用することで、LVP学習アルゴリズムはタスク順序不変である。 新しい知識は古い知識を変更しないため、最小限の忘れ物がある。 異なるタスクは、計算とメモリの要求の低さと並行して独立して学習することができる。 実験の結果,提案したLVP法は最先端のベースラインよりも40.7%優れていた。

関連論文リスト

• Data-free Multi-label Image Recognition via LLM-powered Prompt Tuning [23.671999163027284]
  本稿では,学習データを持たないマルチラベル画像認識のための新しいフレームワークを提案する。 事前学習されたLarge Language Modelの知識を使用して、CLIPのような事前学習されたVision-Language Modelをマルチラベル分類に適応させるプロンプトを学ぶ。 本フレームワークは,新しいカテゴリー認識のための複数の事前学習モデル間の相乗効果を探索する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-02T13:43:32Z)
• Incremental Object Detection with CLIP [36.478530086163744]
  そこで本研究では,CLIPなどの視覚言語モデルを用いて,異なるクラス集合に対するテキスト特徴埋め込みを生成する。 次に、段階的なシナリオをシミュレートするために、早期の学習段階において利用できない新しいクラスを置き換えるために、スーパークラスを使用します。 そこで我々は,この微妙に認識された検出ボックスを擬似アノテーションとしてトレーニングプロセスに組み込むことにより,検出性能をさらに向上させる。
  論文  参考訳（メタデータ） (2023-10-13T01:59:39Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning [53.32576252950481]
  連続学習は、モデルが逐次到着したデータから段階的に知識を学習できるようにすることを目的としている。 本稿では,新しいクラスやタスクの知識を段階的に抽出する,AttriCLIPという非インクリメンタル学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T07:39:17Z)
• TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation [53.974228542090046]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、最近、ピクセルレベルのゼロショット学習タスクにおいて大きな可能性を示している。 CLIPのテキストとパッチの埋め込みを利用してセマンティックマスクを生成する既存のアプローチは、しばしば目に見えないクラスから入力ピクセルを誤識別する。 この問題に対処するためにTagCLIP(Trusty-aware guideed CLIP)を提案する。
  論文  参考訳（メタデータ） (2023-04-15T12:52:23Z)
• CSSL-MHTR: Continual Self-Supervised Learning for Scalable Multi-script Handwritten Text Recognition [16.987008461171065]
  我々は,手書き文字認識における破滅的な忘れの問題を軽減するために,連続的な自己指導型学習の可能性を探究する。 提案手法は,各タスクにアダプタと呼ばれる中間層を追加し,現在のタスクを学習しながら,前モデルからの知識を効率的に抽出する。 私たちは英語、イタリア語、ロシア語のスクリプトで最先端のパフォーマンスを達成しましたが、タスクごとにいくつかのパラメータしか追加していません。
  論文  参考訳（メタデータ） (2023-03-16T14:27:45Z)
• LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
  ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
  論文  参考訳（メタデータ） (2022-10-03T17:56:35Z)
• OrdinalCLIP: Learning Rank Prompts for Language-Guided Ordinal Regression [94.28253749970534]
  我々は、リッチなセマンティックCLIP潜在空間からランクの概念を学ぶことを提案する。 OrdinalCLIPは学習可能なコンテキストトークンと学習可能なランク埋め込みで構成されている。 実験結果から,本パラダイムは一般順序回帰タスクにおける競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-06T03:54:53Z)
• CLLD: Contrastive Learning with Label Distance for Text Classificatioin [0.6299766708197883]
  コントラストクラスを学習するためのCLLD(Contrastive Learning with Label Distance)を提案する。 CLLDは、ラベルの割り当てに繋がる微妙な違いの中で、柔軟性を保証する。 実験の結果,学習したラベル距離は,クラス間の対立性を緩和することが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T07:07:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。