論文の概要: Steering Prototype with Prompt-tuning for Rehearsal-free Continual Learning

• arxiv url: http://arxiv.org/abs/2303.09447v1
• Date: Thu, 16 Mar 2023 16:23:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 14:46:44.277676
• Title: Steering Prototype with Prompt-tuning for Rehearsal-free Continual Learning
• Title（参考訳）: リハーサルなし連続学習のためのプロンプトチューニングによるステアリングプロトタイプ
• Authors: Zhuowei Li, Long Zhao, Zizhao Zhang, Han Zhang, Di Liu, Ting Liu, Dimitris N. Metaxas
• Abstract要約: プロトタイプベースの手法は, セマンティックドリフトとプロトタイプ干渉による急激な性能劣化に悩まされている。 本研究では,Contrastive Prototypeal Prompt (CPP)を提案し,対照的な学習目的に最適化されたタスク固有のプロンプトチューニングが,両方の障害に効果的に対処可能であることを示す。 実験の結果、CPPは4つの挑戦的なクラス増分学習ベンチマークに優れており、その結果、最先端の手法よりも4%から6%の絶対的な改善が得られた。
• 参考スコア（独自算出の注目度）: 58.63310697531819
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prototype, as a representation of class embeddings, has been explored to reduce memory footprint or mitigate forgetting for continual learning scenarios. However, prototype-based methods still suffer from abrupt performance deterioration due to semantic drift and prototype interference. In this study, we propose Contrastive Prototypical Prompt (CPP) and show that task-specific prompt-tuning, when optimized over a contrastive learning objective, can effectively address both obstacles and significantly improve the potency of prototypes. Our experiments demonstrate that CPP excels in four challenging class-incremental learning benchmarks, resulting in 4% to 6% absolute improvements over state-of-the-art methods. Moreover, CPP does not require a rehearsal buffer and it largely bridges the performance gap between continual learning and offline joint-learning, showcasing a promising design scheme for continual learning systems under a Transformer architecture.
• Abstract（参考訳）: クラス埋め込みの表現としてのPrototypeは、メモリフットプリントの削減や、継続的な学習シナリオにおける忘れの軽減のために研究されている。 しかし, プロトタイプベースの手法は, セマンティックドリフトやプロトタイプの干渉による急激な性能劣化に悩まされている。 本研究では,Contrastive Prototypeal Prompt (CPP) を提案し,対照的な学習目的に最適化されたタスク固有のプロンプトチューニングが,両方の障害に効果的に対処し,プロトタイプの有用性を著しく向上させることができることを示す。 実験の結果,cppは4つの難解なクラスインクリメンタル学習ベンチマークに優れており,その結果,最先端の手法よりも4%から6%の絶対的改善が得られた。 さらに、CPPはリハーサルバッファを必要とせず、継続学習とオフライン共同学習のパフォーマンスギャップを橋渡しし、Transformerアーキテクチャの下で連続学習システムのための有望な設計スキームを示す。

関連論文リスト

• Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
  マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。 事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。 次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
  論文  参考訳（メタデータ） (2024-08-21T06:48:38Z)
• SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
  本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。 過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。 提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
  論文  参考訳（メタデータ） (2024-08-15T17:50:07Z)
• Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation [14.25441464051506]
  本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。 また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
  論文  参考訳（メタデータ） (2024-03-07T15:47:52Z)
• Doubly Perturbed Task Free Continual Learning [21.68539590444844]
  タスクフリーオンライン連続学習(TF-CL)は、モデルが明示的なタスク情報なしでタスクを漸進的に学習する難しい問題である。 本稿では,将来のサンプルを考慮に入れた新しいTF-CLフレームワークを提案し,入力データと意思決定の両方に対向的摂動を注入することが有効であることを示す。
  論文  参考訳（メタデータ） (2023-12-20T13:50:26Z)
• Statistically Efficient Variance Reduction with Double Policy Estimation for Off-Policy Evaluation in Sequence-Modeled Reinforcement Learning [53.97273491846883]
  本稿では、オフラインシーケンスモデリングとオフライン強化学習をダブルポリシー推定と組み合わせたRLアルゴリズムDPEを提案する。 D4RLベンチマークを用いて,OpenAI Gymの複数のタスクで本手法を検証した。
  論文  参考訳（メタデータ） (2023-08-28T20:46:07Z)
• Isolation and Impartial Aggregation: A Paradigm of Incremental Learning without Interference [61.11137714507445]
  本稿では,インクリメンタルラーニングの段階におけるパフォーマンスの不均衡について論じる。 ステージアイソレーションに基づくインクリメンタルラーニングフレームワークを提案する。 提案手法を4つの大規模ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-11-29T06:57:48Z)
• CODA-Prompt: COntinual Decomposed Attention-based Prompting for Rehearsal-Free Continual Learning [30.676509834338884]
  コンピュータビジョンモデルは、継続的なトレーニングデータから新しい概念を学ぶ際に、破滅的な忘れという現象に悩まされる。 データリハーサルに代わるアプローチを提案する。 我々は,従来のSOTA法であるDualPromptを,平均的な最終精度で最大4.5%上回っていることを示す。
  論文  参考訳（メタデータ） (2022-11-23T18:57:11Z)
• Entropy-based Active Learning for Object Detection with Progressive Diversity Constraint [31.094612936162754]
  アクティブラーニングは、コンピュータビジョンタスクにおける高アノテーションコストの問題を軽減するための有望な代替手段である。 本稿では,この問題に対処する新たなハイブリッドアプローチを提案し,ボトムアップ方式でインスタンスレベルの不確実性と多様性を共同で検討する。
  論文  参考訳（メタデータ） (2022-04-17T09:51:12Z)
• Incremental Prototype Prompt-tuning with Pre-trained Representation for Class Incremental Learning [4.717066668969749]
  クラスインクリメンタルな学習は多くの注目を集めていますが、既存のほとんどの研究は、表現モデルを継続的に微調整しています。 我々は、事前学習パラダイムを用いて、固定されたセマンティックリッチな事前学習表現モデルに基づいて、新しい視覚概念を逐次学習する。 我々の手法は、多くのマージンを持つ他の最先端手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-04-07T12:49:14Z)
• Transfer Heterogeneous Knowledge Among Peer-to-Peer Teammates: A Model Distillation Approach [55.83558520598304]
  本研究は, モデル蒸留により, 複数の学生間で経験と伝達値関数を再利用する新しい手法を提案する。 また、異種知識を活用するための効率的な通信プロトコルの設計方法について述べる。 提案するフレームワークである学習・指導カテゴリー強化は,学習の進捗を安定化・加速する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2020-02-06T11:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。