論文の概要: PromptFusion: Decoupling Stability and Plasticity for Continual Learning
- arxiv url: http://arxiv.org/abs/2303.07223v1
- Date: Mon, 13 Mar 2023 15:58:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 14:04:11.345016
- Title: PromptFusion: Decoupling Stability and Plasticity for Continual Learning
- Title(参考訳): PromptFusion: 継続的な学習のための安定性と塑性の分離
- Authors: Haoran Chen, Zuxuan Wu, Xintong Han, Menglin Jia, Yu-Gang Jiang
- Abstract要約: 本稿では,プロンプトフュージョン(PromptFusion)と呼ばれるプロンプトチューニングによる安定性と塑性の疎結合を実現する手法を提案する。
提案手法は,クラスインクリメンタルとドメインインクリメンタルの両方において,一般的な連続学習データセットに対して有望な結果が得られる。
- 参考スコア(独自算出の注目度): 82.39515709102959
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning refers to the capability of continuously learning from a
stream of data. Current research mainly focuses on relieving catastrophic
forgetting, and most of their success is at the cost of limiting the
performance of newly incoming tasks. Such a trade-off is referred to as the
stabilityplasticity dilemma and is a more general and challenging problem for
continual learning. However, the inherent conflict between these two concepts
makes it seemingly impossible to devise a satisfactory solution to both of them
simultaneously. Therefore, we ask, "is it possible to divide them into two
problems to conquer independently?" To this end, we propose a
prompt-tuning-based method termed PromptFusion to enable the decoupling of
stability and plasticity. Specifically, PromptFusion consists of a carefully
designed Stabilizer module that deals with catastrophic forgetting and a
Booster module to learn new knowledge concurrently. During training,
PromptFusion first passes an input image to the two modules separately. Then
the resulting logits are further fused with a learnable weight parameter.
Finally, a weight mask is applied to the derived logits to balance between old
and new classes. Extensive experiments show that our method achieves promising
results on popular continual learning datasets for both class-incremental and
domain incremental settings. Especially on Split-Imagenet-R, one of the most
challenging datasets for class-incremental learning, our method exceeds
state-of-the-art prompt-based methods L2P and DualPrompt by more than 10%.
- Abstract(参考訳): 連続学習とは、データのストリームから連続的に学習する能力を指す。
現在の研究は、主に破滅的な忘れを省くことに焦点を当てており、その成功の大部分は、新しく入ってくるタスクのパフォーマンスを制限するコストに費やされている。
このようなトレードオフは安定性塑性ジレンマと呼ばれ、継続的な学習においてより一般的で困難な問題である。
しかし、この2つの概念の間に固有の矛盾があるため、両者に満足できる解決策を同時に考案することは不可能である。
したがって、我々は「それらを独立して征服する2つの問題に分けることは可能か?
そこで本研究では,PromptFusionと呼ばれる急速チューニング方式を提案し,安定性と塑性の疎結合を実現する。
具体的には、PromptFusionは、破滅的な忘れ物を扱う、慎重に設計された安定化モジュールと、新しい知識を同時に学習するBoosterモジュールで構成される。
トレーニング中、PromptFusionはまず入力画像を2つのモジュールに別々に渡す。
そして、結果のロジットはさらに学習可能な重みパラメータで融合される。
最後に、導出ロジットに重みマスクを適用して、古いクラスと新しいクラスのバランスをとる。
広範な実験により,本手法は,クラスインクリメンタル設定とドメインインクリメンタル設定の両方において,一般的な連続学習データセットに対して有望な結果が得られることが示された。
特に,クラスインクリメンタル学習における最も難しいデータセットであるsplit-imagenet-rでは,最先端のプロンプトベース手法であるl2pとdualpromptを10%以上超えている。
関連論文リスト
- A streamlined Approach to Multimodal Few-Shot Class Incremental Learning
for Fine-Grained Datasets [23.005760505169803]
FSCIL(Few-shot Class-Incremental Learning)は、限られた新しいデータストリームから学習しながら、事前の知識を維持するという課題を提起する。
本稿では,セッション間の画像テキスト埋め込みの分離性を向上するSSP(Session-Specific Prompts)を提案する。
第2のハイパーボリック距離は、同じクラス内の画像とテキストのペアの表現を圧縮し、異なるクラスから拡張し、より良い表現をもたらす。
論文 参考訳(メタデータ) (2024-03-10T19:50:03Z) - SAPT: A Shared Attention Framework for Parameter-Efficient Continual
Learning of Large Language Models [74.48765681246947]
大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。
既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。
本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
論文 参考訳(メタデータ) (2024-01-16T11:45:03Z) - Primal-Dual Continual Learning: Stability and Plasticity through
Lagrange Multipliers [93.17404959573146]
制約付き最適化問題を直接実行することは可能かつ有益であることを示す。
メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。
準最適境界を導出し、様々な連続学習ベンチマークで理論的結果を実証的に相関させる。
論文 参考訳(メタデータ) (2023-09-29T21:23:27Z) - Dissecting Continual Learning a Structural and Data Analysis [0.0]
連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。
ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。
このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
論文 参考訳(メタデータ) (2023-01-03T10:37:11Z) - PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning [49.0417577439298]
過去の知識を保ちながら新しいデータから学ぶためには、クラス増分学習において塑性と安定性が必要である。
そこで本稿では, 可塑性と安定性のバランスを良くするために, パラメータ数に類似する手法を提案する。
論文 参考訳(メタデータ) (2022-09-14T12:53:00Z) - vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。
vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。
本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
論文 参考訳(メタデータ) (2022-01-23T22:14:17Z) - Recurrent Multi-view Alignment Network for Unsupervised Surface
Registration [79.72086524370819]
非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。
我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。
また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
論文 参考訳(メタデータ) (2020-11-24T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。