論文の概要: Domain Incremental Lifelong Learning in an Open World

• arxiv url: http://arxiv.org/abs/2305.06555v1
• Date: Thu, 11 May 2023 04:19:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 16:08:36.191364
• Title: Domain Incremental Lifelong Learning in an Open World
• Title（参考訳）: オープンワールドにおけるドメインインクリメンタルな生涯学習
• Authors: Yi Dai, Hao Lang, Yinhe Zheng, Bowen Yu, Fei Huang, Yongbin Li
• Abstract要約: textbfDiana: a underlinedynamunderlineic underlinearchitecture based lifelounderlineng leunderlinearning model。 ダイアナでは4種類の階層的に整理されたプロンプトが、異なる粒度から知識を取得するために使われている。
• 参考スコア（独自算出の注目度）: 45.704746275089555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong learning (LL) is an important ability for NLP models to learn new tasks continuously. Architecture-based approaches are reported to be effective implementations for LL models. However, it is non-trivial to extend previous approaches to domain incremental LL scenarios since they either require access to task identities in the testing phase or cannot handle samples from unseen tasks. In this paper, we propose \textbf{Diana}: a \underline{d}ynam\underline{i}c \underline{a}rchitecture-based lifelo\underline{n}g le\underline{a}rning model that tries to learn a sequence of tasks with a prompt-enhanced language model. Four types of hierarchically organized prompts are used in Diana to capture knowledge from different granularities. Specifically, we dedicate task-level prompts to capture task-specific knowledge to retain high LL performances and maintain instance-level prompts to learn knowledge shared across input samples to improve the model's generalization performance. Moreover, we dedicate separate prompts to explicitly model unseen tasks and introduce a set of prompt key vectors to facilitate knowledge sharing between tasks. Extensive experiments demonstrate that Diana outperforms state-of-the-art LL models, especially in handling unseen tasks. We release the code and data at \url{https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/diana}.
• Abstract（参考訳）: 生涯学習(LL)は、NLPモデルが新しいタスクを継続的に学習する重要な能力である。 アーキテクチャベースのアプローチはLLモデルの効果的な実装であると報告されている。 しかし、テストフェーズでタスクIDにアクセスするか、目に見えないタスクからのサンプルを処理できないため、以前のアプローチをドメインインクリメンタルLLシナリオに拡張するのは簡単ではない。 本稿では,a \underline{d}ynam\underline{i}c \underline{a}rchitecture-based lifelo\underline{n}g le\underline{a}rning model を提案する。 階層的に組織化された4種類のプロンプトがダイアナで使われ、異なる粒度の知識を捉えている。 具体的には、タスク固有の知識をキャプチャして高いLL性能を維持するためのタスクレベルのプロンプトと、入力サンプル間で共有される知識をインスタンスレベルのプロンプトに割り当て、モデルの一般化性能を改善する。 さらに,未知のタスクを明示的にモデル化するための個別のプロンプトと,タスク間の知識共有を容易にするための一連のプロンプトキーベクタを導入する。 大規模な実験により、Dianaは最先端のLLモデルよりも優れており、特に目に見えないタスクを処理している。 コードとデータは \url{https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/diana} で公開しています。

関連論文リスト

• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• PL-FSCIL: Harnessing the Power of Prompts for Few-Shot Class-Incremental Learning [9.247718160705512]
  FSCIL(Few-Shot Class-Incremental Learning)は、ディープニューラルネットワークが少数のラベル付きサンプルから段階的に新しいタスクを学習できるようにすることを目的としている。 FSCIL(PL-FSCIL)のためのPrompt Learningと呼ばれる新しいアプローチを提案する。 PL-FSCILは、FSCILの課題に効果的に取り組むために、事前訓練されたビジョントランスフォーマー(ViT)モデルと共にプロンプトのパワーを利用する。
  論文  参考訳（メタデータ） (2024-01-26T12:11:04Z)
• Disentangled Latent Spaces Facilitate Data-Driven Auxiliary Learning [15.41342100228504]
  ディープラーニングでは、データが不足している状況での学習を容易にするために補助的な目的がしばしば使用される。 Detauxと呼ばれる新しいフレームワークを提案し、非関係な新しい分類タスクを見つけるために、弱い教師付き非絡み込み手順を用いている。
  論文  参考訳（メタデータ） (2023-10-13T17:40:39Z)
• Introducing Language Guidance in Prompt-based Continual Learning [95.03110230754423]
  本稿では,Prompt-based Continual Learning (LGCL) のための言語指導手法を提案する。 LGCLは、新しい最先端技術を設定するために、プロンプトベースの連続学習手法の性能を一貫して改善する。
  論文  参考訳（メタデータ） (2023-08-30T08:03:49Z)
• Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong Learning in Task-Oriented Dialogue [80.05509768165135]
  生成的再生法は、過去の知識と生成された擬似サンプルを統合するために広く用いられている。 既存の生成的再生法の多くは、モデルを制御するために単一のタスク固有のトークンのみを使用する。 本稿では,タスクの統計を取り入れて生成的再生を向上させるために,生涯学習のための新しい条件付きVAEを提案する。
  論文  参考訳（メタデータ） (2022-10-14T13:12:14Z)
• Continuous QA Learning with Structured Prompts [20.246786740364133]
  Dianaは動的アーキテクチャベースの生涯QAモデルで、一連のQAタスクを学習しようとする。 階層的に整理された4つのプロンプトは、異なる粒度からQA知識を取得するためにダイアナで使用される。 実験では、Dianaは、特に目に見えないタスクの処理において、最先端のQAモデルよりも優れています。
  論文  参考訳（メタデータ） (2022-08-31T02:38:16Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。