論文の概要: Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt

• arxiv url: http://arxiv.org/abs/2403.09857v1
• Date: Thu, 14 Mar 2024 20:34:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 21:15:39.803628
• Title: Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt
• Title（参考訳）: 意識認識型自己適応型プロンプトを用いた数ショットクラスインクリメンタルラーニング
• Authors: Chenxi Liu, Zhenyi Wang, Tianyi Xiong, Ruibo Chen, Yihan Wu, Junfeng Guo, Heng Huang,
• Abstract要約: ASP(Attention-Aware Self-Adaptive Prompt)という新しいフレームワークを提案する。 ASP.NETはタスク不変のプロンプトを奨励し、注意点から特定の情報を減らすことで共有知識をキャプチャする。 要約すると、ASPはベースタスクの過度な適合を防ぎ、数秒のインクリメンタルタスクで膨大なデータを必要としない。
• 参考スコア（独自算出の注目度）: 58.880105981772324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-Shot Class-Incremental Learning (FSCIL) models aim to incrementally learn new classes with scarce samples while preserving knowledge of old ones. Existing FSCIL methods usually fine-tune the entire backbone, leading to overfitting and hindering the potential to learn new classes. On the other hand, recent prompt-based CIL approaches alleviate forgetting by training prompts with sufficient data in each task. In this work, we propose a novel framework named Attention-aware Self-adaptive Prompt (ASP). ASP encourages task-invariant prompts to capture shared knowledge by reducing specific information from the attention aspect. Additionally, self-adaptive task-specific prompts in ASP provide specific information and transfer knowledge from old classes to new classes with an Information Bottleneck learning objective. In summary, ASP prevents overfitting on base task and does not require enormous data in few-shot incremental tasks. Extensive experiments on three benchmark datasets validate that ASP consistently outperforms state-of-the-art FSCIL and prompt-based CIL methods in terms of both learning new classes and mitigating forgetting.
• Abstract（参考訳）: FSCIL(Few-Shot Class-Incremental Learning)モデルは、古いクラスに関する知識を保ちながら、サンプルが少ないクラスで段階的に新しいクラスを学習することを目的としている。 既存のFSCILメソッドは通常、バックボーン全体を微調整する。 一方、最近のプロンプトベースのCILアプローチでは、各タスクに十分なデータを持つトレーニングプロンプトによる忘れを軽減している。 本研究では,注意を意識した自己適応型プロンプト(ASP.NET)という新しいフレームワークを提案する。 ASP.NETはタスク不変のプロンプトを奨励し、注意点から特定の情報を減らすことで共有知識をキャプチャする。 さらに、ASPの自己適応的なタスク固有のプロンプトは、インフォメーション・ボトルネック学習の目的を持つ古いクラスから新しいクラスに、特定の情報を提供し、知識を伝達する。 要約すると、ASPはベースタスクの過度な適合を防ぎ、数秒のインクリメンタルタスクで膨大なデータを必要としない。 3つのベンチマークデータセットに対する大規模な実験は、ASPが新しいクラスを学習し、忘れを緩和するという点で、最先端のFSCILとプロンプトベースのCILメソッドを一貫して上回っていることを検証している。

関連論文リスト

• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Class-Incremental Few-Shot Event Detection [68.66116956283575]
  本稿では,クラスインクリメンタルなイベント検出と呼ばれる新しいタスクを提案する。 このタスクは、古い知識の忘れと新しいクラスオーバーフィットという2つの問題に直面している。 そこで本研究では,Prompt-KDと呼ばれる新しい知識蒸留法と迅速な学習手法を提案する。
  論文  参考訳（メタデータ） (2024-04-02T09:31:14Z)
• Convolutional Prompting meets Language Models for Continual Learning [4.115213208594654]
  継続学習(CL)により、機械学習モデルは、古いタスクからのデータなしで、新しいトレーニングデータを継続的にシフトすることから学ぶことができる。 ConvPromptは、階層的に共有された埋め込みを維持する新しい畳み込みプロンプト生成機構である。 畳み込みのインテリジェントな利用により、パフォーマンスを損なうことなく、低パラメータのオーバーヘッドを維持することができます。
  論文  参考訳（メタデータ） (2024-03-29T17:40:37Z)
• Towards Non-Exemplar Semi-Supervised Class-Incremental Learning [33.560003528712414]
  クラス増分学習は、古いクラスの識別性を保ちながら、新しいクラスを徐々に認識することを目的としている。 コントラスト学習と半教師付きインクリメンタルプロトタイプ分類器(Semi-IPC)を用いた非経験的半教師付きCILフレームワークを提案する。 Semi-IPCは教師なしの正規化で各クラスのプロトタイプを学習し、部分的にラベル付けされた新しいデータからモデルを漸進的に学習することを可能にする。
  論文  参考訳（メタデータ） (2024-03-27T06:28:19Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Federated Class-Incremental Learning with Prompting [18.52169733483851]
  本稿では,PrompTingを用いたFederated Class-Incremental Learningという新しい手法を提案する。 我々はタスク関連知識とタスク関連知識をプロンプトにエンコードし、ローカルクライアントの旧来の知識を保存します。 FCIは最先端の手法よりも大幅な精度の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T08:35:02Z)
• POP: Prompt Of Prompts for Continual Learning [59.15888651733645]
  継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。 POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-14T02:09:26Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。