論文の概要: Task Relation Distillation and Prototypical Pseudo Label for Incremental
Named Entity Recognition
- arxiv url: http://arxiv.org/abs/2308.08793v1
- Date: Thu, 17 Aug 2023 05:36:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 17:56:23.858206
- Title: Task Relation Distillation and Prototypical Pseudo Label for Incremental
Named Entity Recognition
- Title(参考訳): 逐次名前付きエンティティ認識のためのタスク関係蒸留とプロトタイプ擬似ラベル
- Authors: Duzhen Zhang, Hongliu Li, Wei Cong, Rongtao Xu, Jiahua Dong, Xiuyi
Chen
- Abstract要約: InERのためのタスク関係蒸留法とプロトタイプ擬似ラベル(RDP)を提案する。
本手法は従来の最先端手法に比べて,マイクロF1のスコアが6.08%,マクロF1のスコアが7.71%増加し,大幅な改善を実現している。
- 参考スコア(独自算出の注目度): 23.69922938823477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Incremental Named Entity Recognition (INER) involves the sequential learning
of new entity types without accessing the training data of previously learned
types. However, INER faces the challenge of catastrophic forgetting specific
for incremental learning, further aggravated by background shift (i.e., old and
future entity types are labeled as the non-entity type in the current task). To
address these challenges, we propose a method called task Relation Distillation
and Prototypical pseudo label (RDP) for INER. Specifically, to tackle
catastrophic forgetting, we introduce a task relation distillation scheme that
serves two purposes: 1) ensuring inter-task semantic consistency across
different incremental learning tasks by minimizing inter-task relation
distillation loss, and 2) enhancing the model's prediction confidence by
minimizing intra-task self-entropy loss. Simultaneously, to mitigate background
shift, we develop a prototypical pseudo label strategy that distinguishes old
entity types from the current non-entity type using the old model. This
strategy generates high-quality pseudo labels by measuring the distances
between token embeddings and type-wise prototypes. We conducted extensive
experiments on ten INER settings of three benchmark datasets (i.e., CoNLL2003,
I2B2, and OntoNotes5). The results demonstrate that our method achieves
significant improvements over the previous state-of-the-art methods, with an
average increase of 6.08% in Micro F1 score and 7.71% in Macro F1 score.
- Abstract(参考訳): インクリメンタル名前付きエンティティ認識(INER)は、以前に学習されたタイプのトレーニングデータにアクセスすることなく、新しいエンティティタイプのシーケンシャルな学習を含む。
しかし、INERは、漸進的な学習に特化して破滅的な忘れをし、背景シフトによってさらに増大する(すなわち、古いエンティティタイプと将来のエンティティタイプは、現在のタスクにおける非エンティティタイプとしてラベル付けされる)。
これらの課題に対処するため,INERのためのタスク関係蒸留法とプロトタイプ擬似ラベル(RDP)を提案する。
具体的には,2つの目的を果たすタスク関連蒸留スキームを導入する。
1) タスク間関係蒸留損失を最小化し, 異なる段階的学習課題におけるタスク間セマンティック一貫性を確保すること
2) タスク内自己エントロピー損失の最小化による予測信頼度の向上。
同時に、背景シフトを軽減するために、古い実体型と現在の非存在型を区別する原型的な擬似ラベル戦略を開発する。
この戦略はトークン埋め込みとタイプワイドプロトタイプの距離を測定することによって高品質な擬似ラベルを生成する。
我々は,3つのベンチマークデータセット(CoNLL2003,I2B2,OntoNotes5)のINER設定について広範囲に実験を行った。
以上の結果から,従来の最先端手法と比較して,マイクロf1スコアが6.08%,マクロf1スコアが7.71%向上した。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。
1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。
本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。
本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
論文 参考訳(メタデータ) (2024-01-15T03:33:39Z) - Continual Named Entity Recognition without Catastrophic Forgetting [37.316700599440935]
我々は,古いエンティティタイプの知識の保持と新しいもの獲得のトレードオフを巧みに回避する,プールド・フィーチャー蒸留損失を導入する。
非エンタリティ型のための信頼に基づく疑似ラベルを作成する。
バイアス型分布の問題に対処するために,適応的再重み付け型バランス学習手法を提案する。
論文 参考訳(メタデータ) (2023-10-23T03:45:30Z) - Deep Graph Reprogramming [112.34663053130073]
グラフニューラルネットワーク(GNN)に適したタスク再利用モデル「ディープグラフ再プログラミング」
本稿では,モデル再プログラミングパラダイムと並行して,革新的なデータ再プログラミングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-04-28T02:04:29Z) - Towards Integration of Discriminability and Robustness for
Document-Level Relation Extraction [41.51148745387936]
ドキュメントレベルの関係抽出(DocRE)は、ドキュメント内の長距離コンテキスト依存推論に依存するエンティティペアの関係を予測する。
本研究では,DocRE問題に対する差別性とロバスト性の両方をよりよく統合することを目的としている。
エントロピーの最小化と教師付きコントラスト学習を革新的にカスタマイズする。
論文 参考訳(メタデータ) (2023-04-03T09:11:18Z) - Prototype-Sample Relation Distillation: Towards Replay-Free Continual
Learning [14.462797749666992]
本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。
本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。
この手法はタスクインクリメンタル設定における最先端性能を得る。
論文 参考訳(メタデータ) (2023-03-26T16:35:45Z) - Hierarchical Prototype Networks for Continual Graph Representation
Learning [90.78466005753505]
本稿では,連続的に拡張されたグラフを表現するために,プロトタイプの形式で抽象的な知識のレベルを抽出する階層型プロトタイプネットワーク(HPN)を提案する。
我々はHPNが最先端のベースライン技術を上回るだけでなく、メモリ消費も比較的少ないことを示した。
論文 参考訳(メタデータ) (2021-11-30T14:15:14Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳(メタデータ) (2021-10-09T13:56:48Z) - TSDAE: Using Transformer-based Sequential Denoising Auto-Encoder for
Unsupervised Sentence Embedding Learning [53.32740707197856]
TSDAE(Sequential Denoising Auto-Encoder)を用いた最新の非監視方式を提案する。
ドメイン内の監視されたアプローチのパフォーマンスの93.1%を達成することができる。
論文 参考訳(メタデータ) (2021-04-14T17:02:18Z) - Lifelong Learning Without a Task Oracle [13.331659934508764]
監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。
本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。
最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
論文 参考訳(メタデータ) (2020-11-09T21:30:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。