論文の概要: Generalized Few-Shot Continual Learning with Contrastive Mixture of Adapters

• arxiv url: http://arxiv.org/abs/2302.05936v1
• Date: Sun, 12 Feb 2023 15:18:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 17:38:18.423159
• Title: Generalized Few-Shot Continual Learning with Contrastive Mixture of Adapters
• Title（参考訳）: アダプタのコントラスト混合による一般化Few-Shot連続学習
• Authors: Yawen Cui, Zitong Yu, Rizhao Cai, Xun Wang, Alex C. Kot, Li Liu
• Abstract要約: 我々は,クラスおよびドメインインクリメンタルな状況を含む汎用FSCL (GFSCL) プロトコルを構築した。 一般的な連続学習手法は、目に見えない領域に一般化能力が乏しいことが判明した。 このようにして、視覚変換器(ViT)に基づくリハーサルフリーフレームワークであるContrastive Mixture of Adapters(CMoA)を提案する。
• 参考スコア（独自算出の注目度）: 59.82088750033897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of Few-Shot Continual Learning (FSCL) is to incrementally learn novel tasks with limited labeled samples and preserve previous capabilities simultaneously, while current FSCL methods are all for the class-incremental purpose. Moreover, the evaluation of FSCL solutions is only the cumulative performance of all encountered tasks, but there is no work on exploring the domain generalization ability. Domain generalization is a challenging yet practical task that aims to generalize beyond training domains. In this paper, we set up a Generalized FSCL (GFSCL) protocol involving both class- and domain-incremental situations together with the domain generalization assessment. Firstly, two benchmark datasets and protocols are newly arranged, and detailed baselines are provided for this unexplored configuration. We find that common continual learning methods have poor generalization ability on unseen domains and cannot better cope with the catastrophic forgetting issue in cross-incremental tasks. In this way, we further propose a rehearsal-free framework based on Vision Transformer (ViT) named Contrastive Mixture of Adapters (CMoA). Due to different optimization targets of class increment and domain increment, the CMoA contains two parts: (1) For the class-incremental issue, the Mixture of Adapters (MoA) module is incorporated into ViT, then cosine similarity regularization and the dynamic weighting are designed to make each adapter learn specific knowledge and concentrate on particular classes. (2) For the domain-related issues and domain-invariant representation learning, we alleviate the inner-class variation by prototype-calibrated contrastive learning. The codes and protocols are available at https://github.com/yawencui/CMoA.
• Abstract（参考訳）: Few-Shot Continual Learning (FSCL)の目標は、限定されたラベル付きサンプルで新しいタスクを段階的に学習し、以前の機能を同時に保持することにある。 さらに、FSCLソリューションの評価は、遭遇した全てのタスクの累積的な性能に過ぎず、領域一般化能力の探索は行わない。 ドメインの一般化は、訓練ドメインを超えて一般化することを目的とした、難しいが実用的なタスクである。 本稿では,クラスおよびドメインインクリメンタルな状況とドメイン一般化評価を含む一般FSCL(Generalized FSCL)プロトコルを構築した。 まず、2つのベンチマークデータセットとプロトコルを新たにアレンジし、この未調査の設定について詳細なベースラインを提供する。 共用連続学習法は,未熟な領域における一般化能力に乏しく,非経験的課題における破滅的忘れ去れ問題にうまく対処できないことが判明した。 このようにして、視覚変換器(ViT)に基づくリハーサルフリーフレームワークであるContrastive Mixture of Adapters(CMoA)を提案する。 クラスインクリメントとドメインインクリメントの異なる最適化目標のため、CMoAは2つの部分を含む: (1) クラスインクリメンタルな問題に対して、Mixture of Adapters (MoA)モジュールはViTに組み込まれ、コサイン類似性正規化と動的重み付けは、各アダプタが特定の知識を学び、特定のクラスに集中するように設計されている。 2)ドメイン関連問題やドメイン不変表現学習では,プロトタイプ校正型コントラスト学習による内部クラス変動を緩和する。 コードとプロトコルはhttps://github.com/yawencui/cmoaで入手できる。

関連論文リスト

• Versatile Incremental Learning: Towards Class and Domain-Agnostic Incremental Learning [16.318126586825734]
  インクリメンタルラーニング(IL)は、逐次入力タスクから知識を蓄積することを目的としている。 私たちはVersatile Incremental Learning (VIL) という,より挑戦的で現実的で,未探索のILシナリオを考えています。 Incremental with Shift cONtrol (ICON) という,シンプルで効果的なILフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-17T07:44:28Z)
• More Than Catastrophic Forgetting: Integrating General Capabilities For Domain-Specific LLMs [40.54076184225558]
  大言語モデル(LLM)がドメイン固有のタスクに微調整された後に、一般的なタスクのパフォーマンスが低下する。 本稿では,一般能力統合(GCI)と呼ばれる,CFを越えたドメイン固有LLMの実適用に向けた課題について述べる。 GCIの目的は、新たに獲得した汎用能力を、新しいドメイン知識と共に保持するだけでなく、両方のスキルセットを結合的に調和して利用して、ドメイン固有のタスクのパフォーマンスを高めることである。
  論文  参考訳（メタデータ） (2024-05-28T05:00:12Z)
• CFPL-FAS: Class Free Prompt Learning for Generalizable Face Anti-spoofing [66.6712018832575]
  ドメイン一般化 (DG) ベースの Face Anti-Spoofing (FAS) は、目に見えないドメインにおけるモデルの性能を改善することを目的としている。 私たちはCLIPのような大規模VLMを利用し、テキスト機能を利用して分類器の重みを動的に調整し、一般化可能な視覚的特徴を探索する。
  論文  参考訳（メタデータ） (2024-03-21T11:58:50Z)
• MemSAC: Memory Augmented Sample Consistency for Large Scale Unsupervised Domain Adaptation [71.4942277262067]
  本稿では,ソースドメインとターゲットドメイン間のサンプルレベルの類似性を利用して識別的転送を実現するMemSACを提案する。 我々は,MemSACの有効性に関する詳細な分析と知見を提供する。
  論文  参考訳（メタデータ） (2022-07-25T17:55:28Z)
• Learning towards Synchronous Network Memorizability and Generalizability for Continual Segmentation across Multiple Sites [52.84959869494459]
  臨床実践では、複数のサイトから連続的なデータストリームを継続的に学習するために、セグメンテーションネットワークが必要であることが多い。 既存の方法は、通常、以前のサイトのネットワーク記憶可能性や、目に見えないサイトの一般化可能性に制限される。 本稿では,SMG学習フレームワークの提案により,同期記憶可能性と一般化可能性の問題に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2022-06-14T13:04:36Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
  教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。 対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
  論文  参考訳（メタデータ） (2021-06-10T06:32:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。