Fugu-MT 論文翻訳(概要): PromptFusion: Decoupling Stability and Plasticity for Continual Learning

論文の概要: PromptFusion: Decoupling Stability and Plasticity for Continual Learning

arxiv url: http://arxiv.org/abs/2303.07223v2
Date: Wed, 10 Jul 2024 08:23:20 GMT
ステータス: 処理完了
システム内更新日: 2024-07-11 22:39:20.976640
Title: PromptFusion: Decoupling Stability and Plasticity for Continual Learning
Title（参考訳）: PromptFusion: 継続的な学習のための安定性と塑性の分離
Authors: Haoran Chen, Zuxuan Wu, Xintong Han, Menglin Jia, Yu-Gang Jiang,
Abstract要約: 本稿では,プロンプトフュージョン(PromptFusion)と呼ばれるプロンプトチューニングによる安定性と塑性の疎結合を実現する手法を提案する。特にPromptFusionは、破滅的な忘れ物を扱う慎重に設計されたスタブモジュールと、新しい知識を同時に学習するためのブーモジュールで構成されている。 PromptFusionとPromptFusion-Liteはどちらも、クラスインクリメンタルとドメインインクリメンタル設定のための一般的な継続的学習データセットにおいて、有望な結果を達成することを示す実験である。
参考スコア（独自算出の注目度）: 83.68586386842105
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Current research on continual learning mainly focuses on relieving catastrophic forgetting, and most of their success is at the cost of limiting the performance of newly incoming tasks. Such a trade-off is referred to as the stability-plasticity dilemma and is a more general and challenging problem for continual learning. However, the inherent conflict between these two concepts makes it seemingly impossible to devise a satisfactory solution to both of them simultaneously. Therefore, we ask, "is it possible to divide them into two separate problems to conquer them independently?". To this end, we propose a prompt-tuning-based method termed PromptFusion to enable the decoupling of stability and plasticity. Specifically, PromptFusion consists of a carefully designed \stab module that deals with catastrophic forgetting and a \boo module to learn new knowledge concurrently. Furthermore, to address the computational overhead brought by the additional architecture, we propose PromptFusion-Lite which improves PromptFusion by dynamically determining whether to activate both modules for each input image. Extensive experiments show that both PromptFusion and PromptFusion-Lite achieve promising results on popular continual learning datasets for class-incremental and domain-incremental settings. Especially on Split-Imagenet-R, one of the most challenging datasets for class-incremental learning, our method can exceed state-of-the-art prompt-based methods by more than 5\% in accuracy, with PromptFusion-Lite using 14.8\% less computational resources than PromptFusion.
Abstract（参考訳）: 継続的な学習に関する現在の研究は、主に破滅的な忘れを省くことに焦点を当てており、その成功の大部分は、新しく入ってくるタスクのパフォーマンスを制限するコストに費やされている。このようなトレードオフは安定性・塑性ジレンマと呼ばれ、継続的な学習においてより一般的で挑戦的な問題である。しかし、この2つの概念の間に固有の矛盾があるため、両者に満足できる解決策を同時に考案することは不可能である。したがって、我々は「それらを2つの別々の問題に分けて、それらを独立して征服することは可能か」と問う。そこで本研究では,PromptFusionと呼ばれる急速チューニング方式を提案し,安定性と塑性の疎結合を実現する。具体的には、PromptFusionは、破滅的な忘れ物を扱う慎重に設計された \stab モジュールと、新しい知識を同時に学習する \boo モジュールで構成されている。さらに、追加アーキテクチャによる計算オーバーヘッドに対処するため、各入力画像に対して両方のモジュールをアクティブにするかを動的に決定することで、PromptFusionを改善するPromptFusion-Liteを提案する。 PromptFusionとPromptFusion-Liteはいずれも、クラスインクリメンタルとドメインインクリメンタルな設定で一般的な継続的学習データセットに対して有望な結果が得られることを示す大規模な実験である。特に,クラスインクリメンタル学習において最も困難なデータセットの一つであるSplit-Imagenet-Rでは,PmptFusion-LiteはPmptFusionよりも14.8倍少ない計算資源を用いて,最先端のプロンプトベースの手法を5倍以上の精度で超えることができる。

関連論文リスト

Fusion Matters: Learning Fusion in Deep Click-through Rate Prediction Models [27.477136474888564]
本稿では,接続学習と操作選択の両方を包含して,融合学習を自動化する手法であるOpsFusionを紹介する。実験は3つの大規模データセット上で実施される。
論文参考訳（メタデータ） (2024-11-24T06:21:59Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
A streamlined Approach to Multimodal Few-Shot Class Incremental Learning for Fine-Grained Datasets [23.005760505169803]
FSCIL(Few-shot Class-Incremental Learning)は、限られた新しいデータストリームから学習しながら、事前の知識を維持するという課題を提起する。本稿では,セッション間の画像テキスト埋め込みの分離性を向上するSSP(Session-Specific Prompts)を提案する。第2のハイパーボリック距離は、同じクラス内の画像とテキストのペアの表現を圧縮し、異なるクラスから拡張し、より良い表現をもたらす。
論文参考訳（メタデータ） (2024-03-10T19:50:03Z)
ReFusion: Improving Natural Language Understanding with Computation-Efficient Retrieval Representation Fusion [22.164620956284466]
言語モデルに外部データベースからの知識を取り入れた検索ベース拡張(RA)は,様々な知識集約(KI)タスクに大きく成功している。既存の作業は、モデル性能を改善するために、検索と入力を結合することに焦点を当てている。本稿では,二段階最適化を用いた計算効率の高い検索表現Fusionである textbfReFusion の新たなパラダイムを提案する。
論文参考訳（メタデータ） (2024-01-04T07:39:26Z)
ReFusion: Learning Image Fusion from Reconstruction with Learnable Loss via Meta-Learning [17.91346343984845]
メタラーニングに基づく統合画像融合フレームワークReFusionを導入する。 ReFusionはパラメータ化された損失関数を採用し、特定のシナリオとタスクに応じてトレーニングフレームワークによって動的に調整される。赤外線可視、医療、マルチフォーカス、マルチ露光画像融合など、様々なタスクに適応することができる。
論文参考訳（メタデータ） (2023-12-13T07:40:39Z)
Continual Learning through Networks Splitting and Merging with Dreaming-Meta-Weighted Model Fusion [20.74264925323055]
継続的な学習シナリオにおいて、ネットワークの安定性と可塑性のバランスをとることは難しい。 2段階戦略を採用することにより、よりよいトレードオフを実現することのできるSplit2MetaFusionを提案する。
論文参考訳（メタデータ） (2023-12-12T09:02:56Z)
Bi-level Dynamic Learning for Jointly Multi-modality Image Fusion and Beyond [50.556961575275345]
補完特性とカスケード二重タスク関連モジュールを融合する画像融合モジュールを構築した。本研究では, 高速な1次近似により対応する勾配を計算し, 融合学習のための勾配のバランスをとるための動的重み付けアグリゲーションを提案する。
論文参考訳（メタデータ） (2023-05-11T10:55:34Z)
Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
論文参考訳（メタデータ） (2023-04-13T07:31:51Z)
Distilling a Powerful Student Model via Online Knowledge Distillation [158.68873654990895]
既存のオンライン知識蒸留アプローチは、最高のパフォーマンスを持つ学生を採用するか、より良い全体的なパフォーマンスのためのアンサンブルモデルを構築する。本稿では,機能融合と自己蒸留という2つの要素からなるFFSDと呼ばれる新しいオンライン知識蒸留法を提案する。
論文参考訳（メタデータ） (2021-03-26T13:54:24Z)
$P^2$ Net: Augmented Parallel-Pyramid Net for Attention Guided Pose Estimation [69.25492391672064]
拡張ボトルネックとアテンションモジュールによる特徴改善を施したパラレルピラミドネットを提案する。並列ピラミド構造は、ネットワークによって導入された情報損失を補うために続く。提案手法は, MSCOCO と MPII のデータセットにおいて, 最適な性能を実現する。
論文参考訳（メタデータ） (2020-10-26T02:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。