論文の概要: DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning

• arxiv url: http://arxiv.org/abs/2204.04799v1
• Date: Sun, 10 Apr 2022 23:36:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 15:01:22.337757
• Title: DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning
• Title（参考訳）: DualPrompt:リハーサルなし連続学習のための補足プロンプト
• Authors: Zifeng Wang, Zizhao Zhang, Sayna Ebrahimi, Ruoxi Sun, Han Zhang, Chen-Yu Lee, Xiaoqi Ren, Guolong Su, Vincent Perot, Jennifer Dy, Tomas Pfister
• Abstract要約: 継続的な学習は、1つのモデルが破滅的な忘れをせずに一連のタスクを学習できるようにすることを目的としている。 我々はDualPromptを提案する。これはプロンプトと呼ばれる小さなパラメータ集合を学習し、訓練済みのモデルに逐次到着するタスクを学習するように指示する。 大規模な実験的検証によって、DualPromptは、挑戦的なクラスインクリメンタルな設定の下で、常に最先端のパフォーマンスを設定できる。
• 参考スコア（独自算出の注目度）: 39.53513975439818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning aims to enable a single model to learn a sequence of tasks without catastrophic forgetting. Top-performing methods usually require a rehearsal buffer to store past pristine examples for experience replay, which, however, limits their practical value due to privacy and memory constraints. In this work, we present a simple yet effective framework, DualPrompt, which learns a tiny set of parameters, called prompts, to properly instruct a pre-trained model to learn tasks arriving sequentially without buffering past examples. DualPrompt presents a novel approach to attach complementary prompts to the pre-trained backbone, and then formulates the objective as learning task-invariant and task-specific "instructions". With extensive experimental validation, DualPrompt consistently sets state-of-the-art performance under the challenging class-incremental setting. In particular, DualPrompt outperforms recent advanced continual learning methods with relatively large buffer sizes. We also introduce a more challenging benchmark, Split ImageNet-R, to help generalize rehearsal-free continual learning research. Source code is available at https://github.com/google-research/l2p.
• Abstract（参考訳）: 継続的学習は、1つのモデルが破滅的な忘れることなく一連のタスクを学習できるようにすることを目的としている。 トップパフォーマンスメソッドは通常、過去の経験リプレイのサンプルを保存するためにリハーサルバッファを必要とするが、プライバシとメモリの制約のため、実用的価値は制限される。 本研究では,従来の例をバッファリングすることなく,事前学習したモデルに順次到着するタスクを適切に学習するために,プロンプトと呼ばれるパラメータセットを学習する,シンプルで効果的なフレームワークであるDualPromptを提案する。 dualpromptは、事前学習されたバックボーンに補完的なプロンプトをアタッチする新しいアプローチを示し、タスク不変とタスク固有の"インストラクション"の学習として目標を定式化する。 広範な実験的検証により、dualpromptは挑戦的なクラスインクリメンタル設定の下で常に最先端のパフォーマンスを設定する。 特に、DualPromptは、比較的大きなバッファサイズを持つ最近の高度な連続学習手法よりも優れている。 さらに,リハーサルフリー連続学習研究の一般化を支援する,より挑戦的なベンチマークであるsplit imagenet-rも導入する。 ソースコードはhttps://github.com/google-research/l2pで入手できる。

関連論文リスト

• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free Class-Incremental Learning [10.299813904573695]
  分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。 単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
  論文  参考訳（メタデータ） (2024-02-06T16:31:11Z)
• Introducing Language Guidance in Prompt-based Continual Learning [95.03110230754423]
  本稿では,Prompt-based Continual Learning (LGCL) のための言語指導手法を提案する。 LGCLは、新しい最先端技術を設定するために、プロンプトベースの連続学習手法の性能を一貫して改善する。
  論文  参考訳（メタデータ） (2023-08-30T08:03:49Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Continued Pretraining for Better Zero- and Few-Shot Promptability [44.381944544918014]
  マルチタスク学習中にトレーニング可能なプロンプトを組み込んだ簡単な事前学習により,ゼロショットと少数ショットの両方でプロンプト性が向上することを示す。 一方,MAML方式のメタラーニングによる事前学習は,プロンプトの少ないプロンプト性を直接最適化する手法であり,サブパー性能が向上する。
  論文  参考訳（メタデータ） (2022-10-19T02:41:51Z)
• Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning [83.10861551885321]
  本稿では,マルチタスク事前学習型モジュール・プロンプト(MP2)を提案する。 MP2は38の中国語タスクで事前訓練された組み合わせ可能なプロンプトのセットである。 我々は,MP2がプロンプトチューニング,フルモデルチューニング,事前プロンプト事前学習の手法を,数ショット設定で大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-14T06:43:42Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。