論文の概要: Few-shot Tuning of Foundation Models for Class-incremental Learning

• arxiv url: http://arxiv.org/abs/2405.16625v1
• Date: Sun, 26 May 2024 16:41:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 20:09:48.151670
• Title: Few-shot Tuning of Foundation Models for Class-incremental Learning
• Title（参考訳）: 授業増進学習のための基礎モデルの微調整
• Authors: Shuvendu Roy, Elham Dolatabadi, Arash Afkanpour, Ali Etemad,
• Abstract要約: 本稿では,新しいクラスの基礎モデルを数ショット設定で継続的にチューニングするための新しいアプローチを提案する。 CoACTは、ベンチマーク評価において現在のSOTAよりも13.5%改善されている。
• 参考スコア（独自算出の注目度）: 19.165004570789755
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: For the first time, we explore few-shot tuning of vision foundation models for class-incremental learning. Unlike existing few-shot class incremental learning (FSCIL) methods, which train an encoder on a base session to ensure forward compatibility for future continual learning, foundation models are generally trained on large unlabelled data without such considerations. This renders prior methods from traditional FSCIL incompatible for FSCIL with the foundation model. To this end, we propose Consistency-guided Asynchronous Contrastive Tuning (CoACT), a new approach to continually tune foundation models for new classes in few-shot settings. CoACT comprises three components: (i) asynchronous contrastive tuning, which learns new classes by including LoRA modules in the pre-trained encoder, while enforcing consistency between two asynchronous encoders; (ii) controlled fine-tuning, which facilitates effective tuning of a subset of the foundation model; and (iii) consistency-guided incremental tuning, which enforces additional regularization during later sessions to reduce forgetting of the learned classes. We perform an extensive study on 16 diverse datasets and demonstrate the effectiveness of CoACT, outperforming the best baseline method by 2.47% on average and with up to 12.52% on individual datasets. Additionally, CoACT shows reduced forgetting and robustness in low-shot experiments. As an added bonus, CoACT shows up to 13.5% improvement in standard FSCIL over the current SOTA on benchmark evaluations. We make our code publicly available at https://github.com/ShuvenduRoy/CoACT-FSCIL.
• Abstract（参考訳）: はじめに、クラス増分学習のための視覚基礎モデルの数発のチューニングについて検討する。 将来的な継続的な学習のための前方互換性を確保するために、ベースセッションでエンコーダを訓練する既存の数ショットクラスインクリメンタルラーニング(FSCIL)とは異なり、基礎モデルは一般にそのような考慮なしに大きな未学習データに基づいて訓練される。 これにより、FSCILとファンデーションモデルとの互換性のない従来のFSCILからの先行メソッドがレンダリングされる。 この目的のために,一貫性誘導型非同期コントラストチューニング(CoACT)を提案する。 CoACTは3つのコンポーネントから構成される。 i) 2つの非同期エンコーダ間の一貫性を保ちながら、事前訓練されたエンコーダにLoRAモジュールを含めることで、新しいクラスを学ぶ非同期コントラストチューニング。 (二)基礎モデルのサブセットの効果的なチューニングを容易にする微調整制御、及び 3) 整合性誘導型インクリメンタルチューニングは、後続のセッションで追加の規則化を強制し、学習したクラスの忘れを減らします。 我々は16の多様なデータセットについて広範な調査を行い、CoACTの有効性を実証し、最高のベースライン法を平均2.47%、個々のデータセットで最大12.52%で上回った。 さらに、CoACTは低ショット実験において、忘れることと堅牢性を減らしている。 追加のボーナスとして、CoACTはベンチマーク評価において現在のSOTAよりも13.5%の標準FSCILを改善している。 コードをhttps://github.com/ShuvenduRoy/CoACT-FSCILで公開しています。

関連論文リスト

• Combining Denoising Autoencoders with Contrastive Learning to fine-tune Transformer Models [0.0]
  本研究は,分類タスクのベースモデルを調整するための3段階手法を提案する。 我々は,DAE(Denoising Autoencoder)を用いたさらなるトレーニングを行うことで,モデルの信号をデータ配信に適用する。 さらに、教師付きコントラスト学習のための新しいデータ拡張手法を導入し、不均衡なデータセットを修正する。
  論文  参考訳（メタデータ） (2024-05-23T11:08:35Z)
• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• Read Between the Layers: Leveraging Multi-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models [15.847302755988506]
  本研究では,非定常分布から連続的なタスク列を学習しなければならない連続学習問題に対処する。 プレトレーニングネットワークの複数の中間層からの2次特徴統計量を利用する,CL に対する新しいプロトタイプベースのアプローチである LayUP を提案する。 その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
  論文  参考訳（メタデータ） (2023-12-13T13:11:44Z)
• Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
  CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。 微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。 しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
  論文  参考訳（メタデータ） (2023-10-12T08:01:11Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
  我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
  論文  参考訳（メタデータ） (2023-03-28T13:47:16Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Modeling Inter-Class and Intra-Class Constraints in Novel Class Discovery [20.67503042774617]
  新たなクラス発見(NCD)は、クラス非結合なラベル付きデータセットから別の非ラベル付きデータセットへ共通の知識を転送するモデルを学ぶことを目的としている。 対称KKLD(Kullback-Leibler divergence)に基づくNCDにおけるクラス間制約とクラス内制約の両方をモデル化する。
  論文  参考訳（メタデータ） (2022-10-07T14:46:32Z)
• Rethinking Few-Shot Class-Incremental Learning with Open-Set Hypothesis in Hyperbolic Geometry [21.38183613466714]
  FSCIL(Few-Shot Class-Incremental Learning)は、いくつかのラベル付きサンプルから新しいクラスを段階的に学習することを目的としている。 本稿では,FSCILの構成をオープンセット仮説で再考する。 モデルにクローズセットとオープンセットの両方の認識により良いパフォーマンスを割り当てるために、ハイパーボリック・リシパル・ポイント・ラーニングモジュール(Hyper-RPL)は、ハイパーボリック・ニューラルネットワークを備えたリシパル・ポイント・ラーニング(Reciprocal Point Learning、RPL)上に構築されている。
  論文  参考訳（メタデータ） (2022-07-20T15:13:48Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。