論文の概要: Steering Prototypes with Prompt-tuning for Rehearsal-free Continual Learning

• arxiv url: http://arxiv.org/abs/2303.09447v2
• Date: Tue, 17 Oct 2023 17:46:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 22:20:56.592331
• Title: Steering Prototypes with Prompt-tuning for Rehearsal-free Continual Learning
• Title（参考訳）: リハーサルなし連続学習のためのプロンプトチューニングによるステアリングプロトタイプ
• Authors: Zhuowei Li, Long Zhao, Zizhao Zhang, Han Zhang, Di Liu, Ting Liu, Dimitris N. Metaxas
• Abstract要約: 代表的なクラス埋め込みとしてのプロトタイプは、記憶の保存と破滅的な忘れの緩和に利点をもたらす。 本研究では,Contrastive Prototypeal Prompt (CPP) アプローチを紹介する。 CPPは最先端の手法よりも4%から6%向上している。
• 参考スコア（独自算出の注目度）: 47.83442130744575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the context of continual learning, prototypes-as representative class embeddings-offer advantages in memory conservation and the mitigation of catastrophic forgetting. However, challenges related to semantic drift and prototype interference persist. In this study, we introduce the Contrastive Prototypical Prompt (CPP) approach. Through task-specific prompt-tuning, underpinned by a contrastive learning objective, we effectively address both aforementioned challenges. Our evaluations on four challenging class-incremental benchmarks reveal that CPP achieves a significant 4% to 6% improvement over state-of-the-art methods. Importantly, CPP operates without a rehearsal buffer and narrows the performance divergence between continual and offline joint-learning, suggesting an innovative scheme for Transformer-based continual learning systems.
• Abstract（参考訳）: 連続学習の文脈では、記憶の保存と破滅的な忘れの緩和において、プロトタイプを代表的クラスとして組み込む利点がある。 しかし、セマンティックドリフトとプロトタイプの干渉に関する課題は継続する。 本研究では,Contrastive Prototypeal Prompt (CPP) アプローチを紹介する。 対照的な学習目標に基づくタスク固有のプロンプトチューニングを通じて、上記の2つの課題を効果的に解決する。 4つのクラスインクリメンタル・ベンチマークによる評価の結果, CPPは最先端手法よりも4%から6%向上していることがわかった。 重要なことに、cppはリハーサルバッファなしで動作し、連続学習とオフライン共同学習のパフォーマンスのばらつきを狭め、トランスフォーマベースの連続学習システムのための革新的な手法を提案する。

関連論文リスト

• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation [14.25441464051506]
  本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。 また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
  論文  参考訳（メタデータ） (2024-03-07T15:47:52Z)
• Doubly Perturbed Task Free Continual Learning [21.68539590444844]
  タスクフリーオンライン連続学習(TF-CL)は、モデルが明示的なタスク情報なしでタスクを漸進的に学習する難しい問題である。 本稿では,将来のサンプルを考慮に入れた新しいTF-CLフレームワークを提案し,入力データと意思決定の両方に対向的摂動を注入することが有効であることを示す。
  論文  参考訳（メタデータ） (2023-12-20T13:50:26Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Isolation and Impartial Aggregation: A Paradigm of Incremental Learning without Interference [61.11137714507445]
  本稿では,インクリメンタルラーニングの段階におけるパフォーマンスの不均衡について論じる。 ステージアイソレーションに基づくインクリメンタルラーニングフレームワークを提案する。 提案手法を4つの大規模ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-11-29T06:57:48Z)
• CODA-Prompt: COntinual Decomposed Attention-based Prompting for Rehearsal-Free Continual Learning [30.676509834338884]
  コンピュータビジョンモデルは、継続的なトレーニングデータから新しい概念を学ぶ際に、破滅的な忘れという現象に悩まされる。 データリハーサルに代わるアプローチを提案する。 我々は,従来のSOTA法であるDualPromptを,平均的な最終精度で最大4.5%上回っていることを示す。
  論文  参考訳（メタデータ） (2022-11-23T18:57:11Z)
• Entropy-based Active Learning for Object Detection with Progressive Diversity Constraint [31.094612936162754]
  アクティブラーニングは、コンピュータビジョンタスクにおける高アノテーションコストの問題を軽減するための有望な代替手段である。 本稿では,この問題に対処する新たなハイブリッドアプローチを提案し,ボトムアップ方式でインスタンスレベルの不確実性と多様性を共同で検討する。
  論文  参考訳（メタデータ） (2022-04-17T09:51:12Z)
• Incremental Prototype Prompt-tuning with Pre-trained Representation for Class Incremental Learning [4.717066668969749]
  クラスインクリメンタルな学習は多くの注目を集めていますが、既存のほとんどの研究は、表現モデルを継続的に微調整しています。 我々は、事前学習パラダイムを用いて、固定されたセマンティックリッチな事前学習表現モデルに基づいて、新しい視覚概念を逐次学習する。 我々の手法は、多くのマージンを持つ他の最先端手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-04-07T12:49:14Z)
• Transfer Heterogeneous Knowledge Among Peer-to-Peer Teammates: A Model Distillation Approach [55.83558520598304]
  本研究は, モデル蒸留により, 複数の学生間で経験と伝達値関数を再利用する新しい手法を提案する。 また、異種知識を活用するための効率的な通信プロトコルの設計方法について述べる。 提案するフレームワークである学習・指導カテゴリー強化は,学習の進捗を安定化・加速する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2020-02-06T11:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。