論文の概要: Steering Prototype with Prompt-tuning for Rehearsal-free Continual Learning

• arxiv url: http://arxiv.org/abs/2303.09447v1
• Date: Thu, 16 Mar 2023 16:23:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 14:46:44.277676
• Title: Steering Prototype with Prompt-tuning for Rehearsal-free Continual Learning
• Title（参考訳）: リハーサルなし連続学習のためのプロンプトチューニングによるステアリングプロトタイプ
• Authors: Zhuowei Li, Long Zhao, Zizhao Zhang, Han Zhang, Di Liu, Ting Liu, Dimitris N. Metaxas
• Abstract要約: プロトタイプベースの手法は, セマンティックドリフトとプロトタイプ干渉による急激な性能劣化に悩まされている。 本研究では,Contrastive Prototypeal Prompt (CPP)を提案し,対照的な学習目的に最適化されたタスク固有のプロンプトチューニングが,両方の障害に効果的に対処可能であることを示す。 実験の結果、CPPは4つの挑戦的なクラス増分学習ベンチマークに優れており、その結果、最先端の手法よりも4%から6%の絶対的な改善が得られた。
• 参考スコア（独自算出の注目度）: 58.63310697531819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prototype, as a representation of class embeddings, has been explored to reduce memory footprint or mitigate forgetting for continual learning scenarios. However, prototype-based methods still suffer from abrupt performance deterioration due to semantic drift and prototype interference. In this study, we propose Contrastive Prototypical Prompt (CPP) and show that task-specific prompt-tuning, when optimized over a contrastive learning objective, can effectively address both obstacles and significantly improve the potency of prototypes. Our experiments demonstrate that CPP excels in four challenging class-incremental learning benchmarks, resulting in 4% to 6% absolute improvements over state-of-the-art methods. Moreover, CPP does not require a rehearsal buffer and it largely bridges the performance gap between continual learning and offline joint-learning, showcasing a promising design scheme for continual learning systems under a Transformer architecture.
• Abstract（参考訳）: クラス埋め込みの表現としてのPrototypeは、メモリフットプリントの削減や、継続的な学習シナリオにおける忘れの軽減のために研究されている。 しかし, プロトタイプベースの手法は, セマンティックドリフトやプロトタイプの干渉による急激な性能劣化に悩まされている。 本研究では,Contrastive Prototypeal Prompt (CPP) を提案し,対照的な学習目的に最適化されたタスク固有のプロンプトチューニングが,両方の障害に効果的に対処し,プロトタイプの有用性を著しく向上させることができることを示す。 実験の結果,cppは4つの難解なクラスインクリメンタル学習ベンチマークに優れており,その結果,最先端の手法よりも4%から6%の絶対的改善が得られた。 さらに、CPPはリハーサルバッファを必要とせず、継続学習とオフライン共同学習のパフォーマンスギャップを橋渡しし、Transformerアーキテクチャの下で連続学習システムのための有望な設計スキームを示す。

関連論文リスト

• CODA-Prompt: COntinual Decomposed Attention-based Prompting for Rehearsal-Free Continual Learning [30.676509834338884]
  コンピュータビジョンモデルは、継続的なトレーニングデータから新しい概念を学ぶ際に、破滅的な忘れという現象に悩まされる。 実験の結果,既存のベンチマークにおけるSOTA法であるDualPromptを平均精度で5.4%も上回っていることがわかった。 また、クラス増分タスクシフトとドメイン増分タスクシフトの両方を含む連続学習ベンチマークにおいて、最大6.6%の精度で芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2022-11-23T18:57:11Z)
• Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
  本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。 我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
  論文  参考訳（メタデータ） (2022-11-04T02:06:22Z)
• Rethinking Prototypical Contrastive Learning through Alignment, Uniformity and Correlation [24.794022951873156]
  我々は、アライメント、均一性、相関(PAUC)を通して、プロトタイプ表現を学ぶことを提案する。 具体的には,(1)正の原型から埋め込みを抽出するアライメント損失,(2)原型レベルの特徴を均一に分配するアライメント損失,(3)原型レベルの特徴間の多様性と識別性を増大させる相関損失を補正する。
  論文  参考訳（メタデータ） (2022-10-18T22:33:12Z)
• Incremental Prototype Prompt-tuning with Pre-trained Representation for Class Incremental Learning [4.717066668969749]
  クラスインクリメンタルな学習は多くの注目を集めていますが、既存のほとんどの研究は、表現モデルを継続的に微調整しています。 我々は、事前学習パラダイムを用いて、固定されたセマンティックリッチな事前学習表現モデルに基づいて、新しい視覚概念を逐次学習する。 我々の手法は、多くのマージンを持つ他の最先端手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-04-07T12:49:14Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。