論文の概要: Prompt Tuning for Few-Shot Continual Learning Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2508.07248v1
• Date: Sun, 10 Aug 2025 09:02:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.775057
• Title: Prompt Tuning for Few-Shot Continual Learning Named Entity Recognition
• Title（参考訳）: エンティティ認識を用いた数ショット連続学習のためのプロンプトチューニング
• Authors: Zhe Ren,
• Abstract要約: Few-Shot CLNER(FS-CLNER)タスクでは、新しいクラスのエンティティの不足により、トレーニングされたモデルが一般化することが難しくなる。 本稿では,これらの課題に対して,プロンプトチューニングパラダイムとメモリ実証テンプレート戦略を用いて対処する。
• 参考スコア（独自算出の注目度）: 0.4662017507844857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation has been successfully applied to Continual Learning Named Entity Recognition (CLNER) tasks, by using a teacher model trained on old-class data to distill old-class entities present in new-class data as a form of regularization, thereby avoiding catastrophic forgetting. However, in Few-Shot CLNER (FS-CLNER) tasks, the scarcity of new-class entities makes it difficult for the trained model to generalize during inference. More critically, the lack of old-class entity information hinders the distillation of old knowledge, causing the model to fall into what we refer to as the Few-Shot Distillation Dilemma. In this work, we address the above challenges through a prompt tuning paradigm and memory demonstration template strategy. Specifically, we designed an expandable Anchor words-oriented Prompt Tuning (APT) paradigm to bridge the gap between pre-training and fine-tuning, thereby enhancing performance in few-shot scenarios. Additionally, we incorporated Memory Demonstration Templates (MDT) into each training instance to provide replay samples from previous tasks, which not only avoids the Few-Shot Distillation Dilemma but also promotes in-context learning. Experiments show that our approach achieves competitive performances on FS-CLNER.
• Abstract（参考訳）: 知識蒸留は、旧来のデータに基づいて訓練された教師モデルを用いて、新来データに存在する旧来のエンティティを正規化の形で蒸留することで、破滅的な忘れを回避し、継続学習名義認識(CLNER)タスクに成功している。 しかし、Few-Shot CLNER(FS-CLNER)タスクでは、新しいクラスのエンティティの不足により、推論中にトレーニングされたモデルが一般化することが難しくなる。 より重要なことは、古いクラスの実体情報の欠如によって古い知識の蒸留が妨げられ、このモデルがFew-Shot Dilemmaと呼ばれるものへと落ちてしまうことである。 本稿では,これらの課題に対して,プロンプトチューニングパラダイムとメモリ実証テンプレート戦略を用いて対処する。 具体的には、事前学習と微調整のギャップを埋めるため、拡張可能なアンカー語指向のPrompt Tuning(APT)パラダイムを設計し、少数のシナリオでの性能を向上させる。 さらに,各トレーニングインスタンスにメモリデモテンプレート(MDT)を組み込んで,Few-Shot Distillation Dilemmaを回避するだけでなく,コンテキスト内学習も促進する。 実験により,FS-CLNER上での競合性能が得られた。

関連論文リスト

• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• SEFE: Superficial and Essential Forgetting Eliminator for Multimodal Continual Instruction Tuning [62.18315467642528]
  MCIT (Multimodal Continual Instruction Tuning) は,Multimodal Large Language Models (MLLM) が,悲惨なことを忘れずに,新たなタスクを段階的に学習できるようにすることを目的としている。 表面的な忘れは、モデルの知識が真に失われるのではなく、以前のタスクに対する応答が期待されたフォーマットから逸脱している場合を指す。 対照的に、本質的な忘れは、モデルが正しくフォーマットされているが、事実的に不正確な答えを提供し、真の知識の喪失を示す状況を指す。
  論文  参考訳（メタデータ） (2025-05-05T09:09:41Z)
• DESIRE: Dynamic Knowledge Consolidation for Rehearsal-Free Continual Learning [23.878495627964146]
  連続学習は、人間のような以前に学習された知識を保持する能力をモデルに装備することを目的としている。 既存の手法は通常、実験データが事前訓練されたモデルで使用されているという事実によって引き起こされる情報漏洩の問題を見落としている。 本稿では,ロラをベースとした新たなリハーサルフリー手法DESIREを提案する。
  論文  参考訳（メタデータ） (2024-11-28T13:54:01Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Low-Rank Mixture-of-Experts for Continual Medical Image Segmentation [18.984447545932706]
  破滅的な忘れ」問題は、モデルが新しいカテゴリやタスクに拡張された際に、以前に学習した特徴を忘れたときに発生する。 本稿では,データ固有のMixture of Experts構造を導入して,新しいタスクやカテゴリを扱うネットワークを提案する。 クラスレベルおよびタスクレベルの連続学習課題に対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-19T14:19:50Z)
• MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning [10.95493493610559]
  マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。 特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。 公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
  論文  参考訳（メタデータ） (2024-02-27T16:54:08Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。