論文の概要: Towards Rehearsal-Free Continual Relation Extraction: Capturing Within-Task Variance with Adaptive Prompting

• arxiv url: http://arxiv.org/abs/2505.13944v1
• Date: Tue, 20 May 2025 05:22:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.76094
• Title: Towards Rehearsal-Free Continual Relation Extraction: Capturing Within-Task Variance with Adaptive Prompting
• Title（参考訳）: リハーサルなし連続関係抽出に向けて:適応的プロンプティングによるタスク内変動のキャプチャ
• Authors: Bao-Ngoc Dao, Quang Nguyen, Luyen Ngo Dinh, Minh Le, Nam Le, Linh Ngo Van,
• Abstract要約: WAVE++は、プレフィックスチューニングとエキスパートの混在にインスパイアされた、新しいアプローチである。 タスク固有のプロンプトプールを導入し、多様なタスクの柔軟性と適応性を高めます。 我々は、よりリッチでグローバルなコンテキストを提供するラベル記述を組み込み、モデルが異なる関係をよりよく区別できるようにする。
• 参考スコア（独自算出の注目度）: 2.818102173042532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memory-based approaches have shown strong performance in Continual Relation Extraction (CRE). However, storing examples from previous tasks increases memory usage and raises privacy concerns. Recently, prompt-based methods have emerged as a promising alternative, as they do not rely on storing past samples. Despite this progress, current prompt-based techniques face several core challenges in CRE, particularly in accurately identifying task identities and mitigating catastrophic forgetting. Existing prompt selection strategies often suffer from inaccuracies, lack robust mechanisms to prevent forgetting in shared parameters, and struggle to handle both cross-task and within-task variations. In this paper, we propose WAVE++, a novel approach inspired by the connection between prefix-tuning and mixture of experts. Specifically, we introduce task-specific prompt pools that enhance flexibility and adaptability across diverse tasks while avoiding boundary-spanning risks; this design more effectively captures variations within each task and across tasks. To further refine relation classification, we incorporate label descriptions that provide richer, more global context, enabling the model to better distinguish among different relations. We also propose a training-free mechanism to improve task prediction during inference. Moreover, we integrate a generative model to consolidate prior knowledge within the shared parameters, thereby removing the need for explicit data storage. Extensive experiments demonstrate that WAVE++ outperforms state-of-the-art prompt-based and rehearsal-based methods, offering a more robust solution for continual relation extraction. Our code is publicly available at https://github.com/PiDinosauR2804/WAVE-CRE-PLUS-PLUS.
• Abstract（参考訳）: メモリベースのアプローチは、継続関係抽出(CRE)において強いパフォーマンスを示している。 しかし、以前のタスクからサンプルを保存することでメモリ使用量が増加し、プライバシの懸念が高まる。 近年,過去のサンプルの保存に頼らず,プロンプトベースの手法が有望な代替手段として出現している。 このような進歩にもかかわらず、現在のプロンプトベースのテクニックは、特にタスクのアイデンティティを正確に識別し、破滅的な忘れを緩和する上で、CREのいくつかのコア課題に直面している。 既存の迅速な選択戦略は、しばしば不正確さに悩まされ、共有パラメータの忘れを防ぎ、クロスタスクとイントラタスクの両方のバリエーションを扱うのに苦労する、堅牢なメカニズムが欠如している。 本稿では,プレフィックスチューニングと専門家の混在に触発された新しいアプローチであるWAVE++を提案する。 具体的には,多様なタスク間の柔軟性と適応性を向上し,バウンダリスパンニングリスクを回避するタスク固有のプロンプトプールを導入する。 関係分類をさらに洗練するために、よりリッチでグローバルな文脈を提供するラベル記述を組み込むことにより、異なる関係をよりよく区別することができる。 また,推論中のタスク予測を改善するための学習自由機構を提案する。 さらに、生成モデルを統合し、共有パラメータに事前知識を統合することにより、明示的なデータストレージの必要性を解消する。 大規模な実験により、WAVE++は最先端のプロンプトベースおよびリハーサルベースのメソッドよりも優れており、継続関係抽出のためのより堅牢なソリューションを提供する。 私たちのコードはhttps://github.com/PiDinosauR2804/WAVE-CRE-PLUS-PLUSで公開されています。

関連論文リスト

• Adaptive Prompting for Continual Relation Extraction: A Within-Task Variance Perspective [23.79259400522239]
  本稿では,連続関係抽出における破滅的忘れに対処する新しい手法を提案する。 提案手法では各タスクにプロンプトプールを導入し,タスク内の変動を捉えるとともに,タスク間の差異を増大させる。
  論文  参考訳（メタデータ） (2024-12-11T11:00:33Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。