論文の概要: Incremental Prompting: Episodic Memory Prompt for Lifelong Event
Detection
- arxiv url: http://arxiv.org/abs/2204.07275v1
- Date: Fri, 15 Apr 2022 00:21:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-18 23:51:18.051594
- Title: Incremental Prompting: Episodic Memory Prompt for Lifelong Event
Detection
- Title(参考訳): インクリメンタルプロンプト:生涯イベント検出のためのエピソード記憶プロンプト
- Authors: Minqian Liu, Shiyu Chang, Lifu Huang
- Abstract要約: Lifelongイベント検出は、新しいイベントタイプとデータでモデルを漸進的に更新することを目的としている。
重要な課題の1つは、新しいデータで継続的にトレーニングされたとき、モデルは破滅的に古い型を忘れてしまうことである。
本稿では,EMP(Episodic Memory Prompts)を導入し,学習したタスク固有の知識を明示的に保存する。
- 参考スコア(独自算出の注目度): 41.74511506187945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lifelong event detection aims to incrementally update a model with new event
types and data while retaining the capability on previously learned old types.
One critical challenge is that the model would catastrophically forget old
types when continually trained on new data. In this paper, we introduce
Episodic Memory Prompts (EMP) to explicitly preserve the learned task-specific
knowledge. Our method adopts continuous prompt for each task and they are
optimized to instruct the model prediction and learn event-specific
representation. The EMPs learned in previous tasks are carried along with the
model in subsequent tasks, and can serve as a memory module that keeps the old
knowledge and transferring to new tasks. Experiment results demonstrate the
effectiveness of our method. Furthermore, we also conduct a comprehensive
analysis of the new and old event types in lifelong learning.
- Abstract(参考訳): lifelong event detectionは、新しいイベントタイプとデータでモデルをインクリメンタルに更新することを目的としている。
重要な課題のひとつは、新しいデータを継続的にトレーニングするときに古い型を壊滅的に忘れてしまうことだ。
本稿では,学習タスク固有の知識を明示的に保存するために,エピソディックメモリプロンプト(emp)を導入する。
提案手法では,各タスクに連続的なプロンプトを適用し,モデル予測とイベント固有表現の学習に最適化する。
以前のタスクで学んだempは、後続のタスクでモデルと共に実行され、古い知識を保持し、新しいタスクに転送するメモリモジュールとして機能する。
実験の結果,本手法の有効性が示された。
さらに,生涯学習における新旧のイベントタイプを包括的に分析する。
関連論文リスト
- Learning without Forgetting for Vision-Language Models [65.49600786387106]
CIL(Class-Incremental Learning)あるいは継続的学習(Continuous Learning)は、現実世界において望ましい能力である。
VLM(Vision-Language Models)の最近の進歩は、一般化可能な表現を学習する上で有望な能力を示している。
本稿では,VLM を忘れずに学習できる ProjectiOn Fusion (PROOF) を提案する。
論文 参考訳(メタデータ) (2023-05-30T17:59:32Z) - Continual Learning with Strong Experience Replay [32.154995019080594]
SER(Strong Experience Replay)を用いたCL法を提案する。
SERは、メモリバッファから過去の経験を蒸留する以外に、現在のトレーニングデータに模倣された将来の経験を利用する。
複数の画像分類データセットによる実験結果から,SER法が最先端の手法をはるかに上回ることがわかった。
論文 参考訳(メタデータ) (2023-05-23T02:42:54Z) - Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。
実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
論文 参考訳(メタデータ) (2023-03-02T09:03:43Z) - Preventing Catastrophic Forgetting in Continual Learning of New Natural
Language Tasks [17.879087904904935]
マルチタスク学習(MTL)は、自然言語処理において、1つのモデルで複数の関連するタスクを学習するための標準技術として広く受け入れられている。
通常、システムは時間とともに進化するので、既存のMTLモデルに新しいタスクを追加するには、通常、すべてのタスクをスクラッチから再トレーニングする必要があります。
本稿では、n+1タスクを解くための新しいタスクに、既に訓練済みのnタスクに関するモデルの知識を蒸留することにより、MTLモデルの能力を漸進的に拡張し、新しいタスクを時間とともに解決する問題にアプローチする。
論文 参考訳(メタデータ) (2023-02-22T00:18:25Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Learning to Prompt for Continual Learning [34.609384246149325]
本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。
本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。
目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
論文 参考訳(メタデータ) (2021-12-16T06:17:07Z) - Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。
アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。
私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
論文 参考訳(メタデータ) (2021-04-18T10:41:56Z) - Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。
セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。
アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文 参考訳(メタデータ) (2020-10-20T15:05:26Z) - Extensively Matching for Few-shot Learning Event Detection [66.31312496170139]
超視覚的な学習設定下でのイベント検出モデルは、新しいイベントタイプへの転送に失敗する。
イベント検出では、あまり画像学習は行われていない。
sup-port の例にマッチする2つのノベルロス因子を提案し,モデルにより多くのトレーニング信号を与える。
論文 参考訳(メタデータ) (2020-06-17T18:30:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。