論文の概要: Less is more: Summarizing Patch Tokens for efficient Multi-Label Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2405.15633v1
- Date: Fri, 24 May 2024 15:18:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 13:30:40.302704
- Title: Less is more: Summarizing Patch Tokens for efficient Multi-Label Class-Incremental Learning
- Title（参考訳）: より少ないもの:効率的なマルチラベルクラスインクリメンタルラーニングのためのパッチトークンの要約
- Authors: Thomas De Min, Massimiliano Mancini, Stéphane Lathuilière, Subhankar Roy, Elisa Ricci,
- Abstract要約: 我々は, pAtch tokeN Embeddings (MULTI-LANE) を要約したクラス増分学習手法を提案する。
提案手法は, pAtch tokeN Embeddings (MULTI-LANE) を要約したマルチラベルクラスインクリメンタルラーニングであり, 高速な推論を実現するとともに, MLCILにおける非絡合タスク固有表現の学習を可能にする。
- 参考スコア（独自算出の注目度）: 38.36863497458095
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Prompt tuning has emerged as an effective rehearsal-free technique for class-incremental learning (CIL) that learns a tiny set of task-specific parameters (or prompts) to instruct a pre-trained transformer to learn on a sequence of tasks. Albeit effective, prompt tuning methods do not lend well in the multi-label class incremental learning (MLCIL) scenario (where an image contains multiple foreground classes) due to the ambiguity in selecting the correct prompt(s) corresponding to different foreground objects belonging to multiple tasks. To circumvent this issue we propose to eliminate the prompt selection mechanism by maintaining task-specific pathways, which allow us to learn representations that do not interact with the ones from the other tasks. Since independent pathways in truly incremental scenarios will result in an explosion of computation due to the quadratically complex multi-head self-attention (MSA) operation in prompt tuning, we propose to reduce the original patch token embeddings into summarized tokens. Prompt tuning is then applied to these fewer summarized tokens to compute the final representation. Our proposed method Multi-Label class incremental learning via summarising pAtch tokeN Embeddings (MULTI-LANE) enables learning disentangled task-specific representations in MLCIL while ensuring fast inference. We conduct experiments in common benchmarks and demonstrate that our MULTI-LANE achieves a new state-of-the-art in MLCIL. Additionally, we show that MULTI-LANE is also competitive in the CIL setting. Source code available at https://github.com/tdemin16/multi-lane
- Abstract（参考訳）: プロンプトチューニングは、タスク固有のパラメータ(またはプロンプト)の小さなセットを学習し、事前訓練されたトランスフォーマーにタスク列で学習するように指示する、クラスインクリメンタルラーニング(CIL)の効果的なリハーサルフリー手法として登場した。
有効ではあるが、プロンプトチューニング手法は、複数のタスクに属する異なるフォアグラウンドオブジェクトに対応する正しいプロンプトを選択する際のあいまいさにより、マルチラベルクラスインクリメンタルラーニング(MLCIL)シナリオ(画像が複数のフォアグラウンドクラスを含む)ではうまく機能しない。
この問題を回避するために,タスク固有の経路を維持することで,他のタスクと相互作用しない表現を学習できるようにする,迅速な選択機構の排除を提案する。
真にインクリメンタルなシナリオにおける独立した経路は、即座にチューニングする2次複雑なマルチヘッド自己アテンション(MSA)操作による計算の爆発をもたらすため、要約されたトークンへのオリジナルのパッチトークンの埋め込みを減らすことを提案する。
プロンプトチューニングは、最後の表現を計算するために、これらの少ない要約トークンに適用される。
提案手法は, pAtch tokeN Embeddings (MULTI-LANE) を要約したマルチラベルクラスインクリメンタルラーニングであり, 高速な推論を実現するとともに, MLCILにおける非絡合タスク固有表現の学習を可能にする。
我々は、共通ベンチマークで実験を行い、MLCILにおける新しい最先端を実現することを実証する。
さらに、Multi-LANEはCIL設定でも競合していることを示す。
ソースコードはhttps://github.com/tdemin16/multi-laneで入手できる。
関連論文リスト
- PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。
近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
論文 参考訳（メタデータ） (2024-07-04T10:37:58Z) - Convolutional Prompting meets Language Models for Continual Learning [4.115213208594654]
継続学習(CL)により、機械学習モデルは、古いタスクからのデータなしで、新しいトレーニングデータを継続的にシフトすることから学ぶことができる。
ConvPromptは、階層的に共有された埋め込みを維持する新しい畳み込みプロンプト生成機構である。
畳み込みのインテリジェントな利用により、パフォーマンスを損なうことなく、低パラメータのオーバーヘッドを維持することができます。
論文 参考訳（メタデータ） (2024-03-29T17:40:37Z) - Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning [43.639430661322585]
マルチタスク・プロンプト・チューニング(MPT)を提案する。
MPTは複数のタスク固有のソースプロンプトから知識を抽出することで単一の転送可能なプロンプトを学習する。
次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。
論文 参考訳（メタデータ） (2023-03-06T03:25:59Z) - Multitask Vision-Language Prompt Tuning [103.5967011236282]
マルチタスク視覚言語プロンプトチューニング(MV)を提案する。
MVはクロスタスクの知識を視覚言語モデルの迅速なチューニングに取り入れている。
20個の視覚タスクの結果、提案手法は全ての単一タスクのベースライン・プロンプト・チューニング法より優れていることが示された。
論文 参考訳（メタデータ） (2022-11-21T18:41:44Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳（メタデータ） (2022-06-04T10:08:50Z) - Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient
Multi-task Knowledge Sharing [53.399742232323895]
ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。
異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。
パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
論文 参考訳（メタデータ） (2022-05-24T10:48:33Z) - Towards Unified Prompt Tuning for Few-shot Text Classification [47.71344780587704]
We present the Unified Prompt Tuning (UPT) framework that to improve few-shot text classification for BERT-style model。
UPTでは、異なるNLPタスク間での協調学習のために、新しいパラダイムであるPrompt-Options-Verbalizerを提案する。
また, PLMの一般化能力を向上させるために, 知識向上型選択マスケッド言語モデリングという自己教師型タスクを設計する。
論文 参考訳（メタデータ） (2022-05-11T07:40:45Z) - Making Pre-trained Language Models End-to-end Few-shot Learners with
Contrastive Prompt Tuning [41.15017636192417]
CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。
完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。
IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-04-01T02:24:24Z) - Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。
提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
論文 参考訳（メタデータ） (2022-01-18T17:03:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。