論文の概要: Task Relation Distillation and Prototypical Pseudo Label for Incremental Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2308.08793v1
• Date: Thu, 17 Aug 2023 05:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 17:56:23.858206
• Title: Task Relation Distillation and Prototypical Pseudo Label for Incremental Named Entity Recognition
• Title（参考訳）: 逐次名前付きエンティティ認識のためのタスク関係蒸留とプロトタイプ擬似ラベル
• Authors: Duzhen Zhang, Hongliu Li, Wei Cong, Rongtao Xu, Jiahua Dong, Xiuyi Chen
• Abstract要約: InERのためのタスク関係蒸留法とプロトタイプ擬似ラベル(RDP)を提案する。 本手法は従来の最先端手法に比べて,マイクロF1のスコアが6.08%,マクロF1のスコアが7.71%増加し,大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 23.69922938823477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incremental Named Entity Recognition (INER) involves the sequential learning of new entity types without accessing the training data of previously learned types. However, INER faces the challenge of catastrophic forgetting specific for incremental learning, further aggravated by background shift (i.e., old and future entity types are labeled as the non-entity type in the current task). To address these challenges, we propose a method called task Relation Distillation and Prototypical pseudo label (RDP) for INER. Specifically, to tackle catastrophic forgetting, we introduce a task relation distillation scheme that serves two purposes: 1) ensuring inter-task semantic consistency across different incremental learning tasks by minimizing inter-task relation distillation loss, and 2) enhancing the model's prediction confidence by minimizing intra-task self-entropy loss. Simultaneously, to mitigate background shift, we develop a prototypical pseudo label strategy that distinguishes old entity types from the current non-entity type using the old model. This strategy generates high-quality pseudo labels by measuring the distances between token embeddings and type-wise prototypes. We conducted extensive experiments on ten INER settings of three benchmark datasets (i.e., CoNLL2003, I2B2, and OntoNotes5). The results demonstrate that our method achieves significant improvements over the previous state-of-the-art methods, with an average increase of 6.08% in Micro F1 score and 7.71% in Macro F1 score.
• Abstract（参考訳）: インクリメンタル名前付きエンティティ認識(INER)は、以前に学習されたタイプのトレーニングデータにアクセスすることなく、新しいエンティティタイプのシーケンシャルな学習を含む。 しかし、INERは、漸進的な学習に特化して破滅的な忘れをし、背景シフトによってさらに増大する(すなわち、古いエンティティタイプと将来のエンティティタイプは、現在のタスクにおける非エンティティタイプとしてラベル付けされる)。 これらの課題に対処するため,INERのためのタスク関係蒸留法とプロトタイプ擬似ラベル(RDP)を提案する。 具体的には,2つの目的を果たすタスク関連蒸留スキームを導入する。 1) タスク間関係蒸留損失を最小化し, 異なる段階的学習課題におけるタスク間セマンティック一貫性を確保すること 2) タスク内自己エントロピー損失の最小化による予測信頼度の向上。 同時に、背景シフトを軽減するために、古い実体型と現在の非存在型を区別する原型的な擬似ラベル戦略を開発する。 この戦略はトークン埋め込みとタイプワイドプロトタイプの距離を測定することによって高品質な擬似ラベルを生成する。 我々は,3つのベンチマークデータセット(CoNLL2003,I2B2,OntoNotes5)のINER設定について広範囲に実験を行った。 以上の結果から,従来の最先端手法と比較して,マイクロf1スコアが6.08%,マクロf1スコアが7.71%向上した。

関連論文リスト

• Towards Robust Incremental Learning under Ambiguous Supervision [22.9111210739047]
  インクリメンタル部分ラベル学習(IPLL)という,弱教師付き学習パラダイムを提案する。 IPLLは、新しいクラスが時々出現する、シーケンシャルな完全教師付き学習問題に対処することを目的としている。 我々は,代表性と多様性を維持しつつ,明瞭なサンプルを収集するメモリ再生技術を開発した。
  論文  参考訳（メタデータ） (2025-01-23T11:52:53Z)
• Towards Modality-agnostic Label-efficient Segmentation with Entropy-Regularized Distribution Alignment [62.73503467108322]
  この話題は、3次元の点雲のセグメンテーションで広く研究されている。 近年まで、擬似ラベルは、限られた地道ラベルによる訓練を容易にするために広く用いられてきた。 既存の擬似ラベリングアプローチは、重複しないデータのノイズやバリエーションに悩まされる可能性がある。 本研究では,学習用擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭める学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-29T13:31:15Z)
• Low-Rank Mixture-of-Experts for Continual Medical Image Segmentation [18.984447545932706]
  破滅的な忘れ」問題は、モデルが新しいカテゴリやタスクに拡張された際に、以前に学習した特徴を忘れたときに発生する。 本稿では,データ固有のMixture of Experts構造を導入して,新しいタスクやカテゴリを扱うネットワークを提案する。 クラスレベルおよびタスクレベルの連続学習課題に対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2024-06-19T14:19:50Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Continual Named Entity Recognition without Catastrophic Forgetting [37.316700599440935]
  我々は,古いエンティティタイプの知識の保持と新しいもの獲得のトレードオフを巧みに回避する,プールド・フィーチャー蒸留損失を導入する。 非エンタリティ型のための信頼に基づく疑似ラベルを作成する。 バイアス型分布の問題に対処するために,適応的再重み付け型バランス学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:45:30Z)
• Deep Graph Reprogramming [112.34663053130073]
  グラフニューラルネットワーク(GNN)に適したタスク再利用モデル「ディープグラフ再プログラミング」 本稿では,モデル再プログラミングパラダイムと並行して,革新的なデータ再プログラミングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-28T02:04:29Z)
• Hierarchical Prototype Networks for Continual Graph Representation Learning [90.78466005753505]
  本稿では,連続的に拡張されたグラフを表現するために,プロトタイプの形式で抽象的な知識のレベルを抽出する階層型プロトタイプネットワーク(HPN)を提案する。 我々はHPNが最先端のベースライン技術を上回るだけでなく、メモリ消費も比較的少ないことを示した。
  論文  参考訳（メタデータ） (2021-11-30T14:15:14Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• TSDAE: Using Transformer-based Sequential Denoising Auto-Encoder for Unsupervised Sentence Embedding Learning [53.32740707197856]
  TSDAE(Sequential Denoising Auto-Encoder)を用いた最新の非監視方式を提案する。 ドメイン内の監視されたアプローチのパフォーマンスの93.1%を達成することができる。
  論文  参考訳（メタデータ） (2021-04-14T17:02:18Z)
• Lifelong Learning Without a Task Oracle [13.331659934508764]
  監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。 本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。 最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
  論文  参考訳（メタデータ） (2020-11-09T21:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。