論文の概要: Adaptive Prompting for Continual Relation Extraction: A Within-Task Variance Perspective

• arxiv url: http://arxiv.org/abs/2412.08285v2
• Date: Thu, 12 Dec 2024 05:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:07.831652
• Title: Adaptive Prompting for Continual Relation Extraction: A Within-Task Variance Perspective
• Title（参考訳）: 連続的関係抽出のための適応的プロンプト:タスク内変数視点
• Authors: Minh Le, Tien Ngoc Luu, An Nguyen The, Thanh-Thien Le, Trang Nguyen, Tung Thanh Nguyen, Linh Ngo Van, Thien Huu Nguyen,
• Abstract要約: 本稿では,連続関係抽出における破滅的忘れに対処する新しい手法を提案する。 提案手法では各タスクにプロンプトプールを導入し,タスク内の変動を捉えるとともに,タスク間の差異を増大させる。
• 参考スコア（独自算出の注目度）: 23.79259400522239
• License:
• Abstract: To address catastrophic forgetting in Continual Relation Extraction (CRE), many current approaches rely on memory buffers to rehearse previously learned knowledge while acquiring new tasks. Recently, prompt-based methods have emerged as potent alternatives to rehearsal-based strategies, demonstrating strong empirical performance. However, upon analyzing existing prompt-based approaches for CRE, we identified several critical limitations, such as inaccurate prompt selection, inadequate mechanisms for mitigating forgetting in shared parameters, and suboptimal handling of cross-task and within-task variances. To overcome these challenges, we draw inspiration from the relationship between prefix-tuning and mixture of experts, proposing a novel approach that employs a prompt pool for each task, capturing variations within each task while enhancing cross-task variances. Furthermore, we incorporate a generative model to consolidate prior knowledge within shared parameters, eliminating the need for explicit data storage. Extensive experiments validate the efficacy of our approach, demonstrating superior performance over state-of-the-art prompt-based and rehearsal-free methods in continual relation extraction.
• Abstract（参考訳）: 連続関係抽出(CRE)における破滅的な忘れに対処するために、現在の多くのアプローチは、新しいタスクを取得しながら、以前に学んだ知識をリハーサルするためにメモリバッファに依存している。 近年、プロンプトベースの手法がリハーサルベースの戦略の強力な代替手段として登場し、強力な経験的性能を示している。 しかし、CREに対する既存のプロンプトベースアプローチの分析において、不正確なプロンプト選択、共有パラメータにおける忘れの軽減のための不適切なメカニズム、クロスタスクおよびタスク内分散の最適処理など、いくつかの重要な制限が明らかになった。 これらの課題を克服するために、プレフィックスチューニングと専門家の混在の関係からインスピレーションを得て、各タスクにプロンプトプールを導入し、タスク内のバリエーションを捉えながら、タスク間の差異を増大させる新しいアプローチを提案する。 さらに,共有パラメータに事前知識を統合するために生成モデルを導入し,明示的なデータストレージの必要性を排除した。 提案手法の有効性を検証し, 連続的関係抽出における最先端のプロンプトベースおよびリハーサルフリー法よりも優れた性能を示した。

関連論文リスト

• Semantic Prompting with Image-Token for Continual Learning [7.5140668729696145]
  I-Promptはタスク予測を排除するためのタスクに依存しないアプローチである。 提案手法は,4つのベンチマーク上での競合性能を実現する。 様々なシナリオにまたがって,提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2024-03-18T07:43:14Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Similarity-based Memory Enhanced Joint Entity and Relation Extraction [3.9659135716762894]
  文書レベルの共同エンティティと関係抽出は難解な情報抽出問題である。 タスク間の双方向メモリのような依存性を持つマルチタスク学習フレームワークを提案する。 実験により,提案手法が既存手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-14T12:26:56Z)
• Multi-Task Learning with Prior Information [5.770309971945476]
  本稿では,機能間の関係に関する事前知識を利用するマルチタスク学習フレームワークを提案する。 また、各特徴に対して変化する係数に対してペナルティを課し、それらの共通する特徴に類似した係数を持つことを保証します。
  論文  参考訳（メタデータ） (2023-01-04T12:48:05Z)
• FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment [93.09267863425492]
  競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。 本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
  論文  参考訳（メタデータ） (2022-04-07T17:59:32Z)
• Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
  マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。 本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
  論文  参考訳（メタデータ） (2021-11-09T18:49:45Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。