論文の概要: Incremental Prompting: Episodic Memory Prompt for Lifelong Event Detection

• arxiv url: http://arxiv.org/abs/2204.07275v1
• Date: Fri, 15 Apr 2022 00:21:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 23:51:18.051594
• Title: Incremental Prompting: Episodic Memory Prompt for Lifelong Event Detection
• Title（参考訳）: インクリメンタルプロンプト:生涯イベント検出のためのエピソード記憶プロンプト
• Authors: Minqian Liu, Shiyu Chang, Lifu Huang
• Abstract要約: Lifelongイベント検出は、新しいイベントタイプとデータでモデルを漸進的に更新することを目的としている。 重要な課題の1つは、新しいデータで継続的にトレーニングされたとき、モデルは破滅的に古い型を忘れてしまうことである。 本稿では,EMP(Episodic Memory Prompts)を導入し,学習したタスク固有の知識を明示的に保存する。
• 参考スコア（独自算出の注目度）: 41.74511506187945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lifelong event detection aims to incrementally update a model with new event types and data while retaining the capability on previously learned old types. One critical challenge is that the model would catastrophically forget old types when continually trained on new data. In this paper, we introduce Episodic Memory Prompts (EMP) to explicitly preserve the learned task-specific knowledge. Our method adopts continuous prompt for each task and they are optimized to instruct the model prediction and learn event-specific representation. The EMPs learned in previous tasks are carried along with the model in subsequent tasks, and can serve as a memory module that keeps the old knowledge and transferring to new tasks. Experiment results demonstrate the effectiveness of our method. Furthermore, we also conduct a comprehensive analysis of the new and old event types in lifelong learning.
• Abstract（参考訳）: lifelong event detectionは、新しいイベントタイプとデータでモデルをインクリメンタルに更新することを目的としている。 重要な課題のひとつは、新しいデータを継続的にトレーニングするときに古い型を壊滅的に忘れてしまうことだ。 本稿では,学習タスク固有の知識を明示的に保存するために,エピソディックメモリプロンプト(emp)を導入する。 提案手法では,各タスクに連続的なプロンプトを適用し,モデル予測とイベント固有表現の学習に最適化する。 以前のタスクで学んだempは、後続のタスクでモデルと共に実行され、古い知識を保持し、新しいタスクに転送するメモリモジュールとして機能する。 実験の結果,本手法の有効性が示された。 さらに,生涯学習における新旧のイベントタイプを包括的に分析する。

関連論文リスト

• Lifelong Event Detection with Embedding Space Separation and Compaction [30.05158209938146]
  既存のイベント検出方法は、通常、メモリモジュールを保持し、新しいタスクの学習中に記憶されたメモリデータを再生する。 メモリデータと新しいタスクサンプルの単純な組み合わせは、以前取得した知識をかなり忘れてしまう可能性がある。 本稿では,空間分離とコンパクト化に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T06:51:49Z)
• Class-Incremental Few-Shot Event Detection [68.66116956283575]
  本稿では,クラスインクリメンタルなイベント検出と呼ばれる新しいタスクを提案する。 このタスクは、古い知識の忘れと新しいクラスオーバーフィットという2つの問題に直面している。 そこで本研究では,Prompt-KDと呼ばれる新しい知識蒸留法と迅速な学習手法を提案する。
  論文  参考訳（メタデータ） (2024-04-02T09:31:14Z)
• Continual Few-shot Event Detection via Hierarchical Augmentation Networks [21.574099641753055]
  ラベル付きサンプルのかなりの数がアクセスできない場合、より一般的に発生するシナリオである連続的数ショットイベント検出(CFED)を導入する。 CFEDタスクは、過去のイベントタイプを記憶し、数ショットのサンプルで新しいイベントタイプを学ぶため、難しい。 本手法は,複数の連発イベント検出タスクにおいて,これらの手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-03-26T14:20:42Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)
• Lifelong Learning of Few-shot Learners across NLP Tasks [45.273018249235705]
  私たちは、さまざまなNLPタスクのシーケンスを通じて、生涯学習の難しさを研究します。 アダプタウェイトの生成をいくつかの例から学ぶ,継続的なメタラーニングアプローチを提案する。 私たちのアプローチは、トレーニングタスクよりもモデルのパフォーマンスを維持し、将来のタスクが学習されるとポジティブな知識伝達につながります。
  論文  参考訳（メタデータ） (2021-04-18T10:41:56Z)
• Learning to Learn Variational Semantic Memory [132.39737669936125]
  我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。 セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。 アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
  論文  参考訳（メタデータ） (2020-10-20T15:05:26Z)
• Extensively Matching for Few-shot Learning Event Detection [66.31312496170139]
  超視覚的な学習設定下でのイベント検出モデルは、新しいイベントタイプへの転送に失敗する。 イベント検出では、あまり画像学習は行われていない。 sup-port の例にマッチする2つのノベルロス因子を提案し,モデルにより多くのトレーニング信号を与える。
  論文  参考訳（メタデータ） (2020-06-17T18:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。