論文の概要: Continual Named Entity Recognition without Catastrophic Forgetting

• arxiv url: http://arxiv.org/abs/2310.14541v1
• Date: Mon, 23 Oct 2023 03:45:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 22:51:17.764373
• Title: Continual Named Entity Recognition without Catastrophic Forgetting
• Title（参考訳）: カタストロフィックフォーミングを伴わない連続的名前付きエンティティ認識
• Authors: Duzhen Zhang, Wei Cong, Jiahua Dong, Yahan Yu, Xiuyi Chen, Yonggang Zhang, Zhen Fang
• Abstract要約: 我々は,古いエンティティタイプの知識の保持と新しいもの獲得のトレードオフを巧みに回避する,プールド・フィーチャー蒸留損失を導入する。 非エンタリティ型のための信頼に基づく疑似ラベルを作成する。 バイアス型分布の問題に対処するために,適応的再重み付け型バランス学習手法を提案する。
• 参考スコア（独自算出の注目度）: 37.316700599440935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Named Entity Recognition (CNER) is a burgeoning area, which involves updating an existing model by incorporating new entity types sequentially. Nevertheless, continual learning approaches are often severely afflicted by catastrophic forgetting. This issue is intensified in CNER due to the consolidation of old entity types from previous steps into the non-entity type at each step, leading to what is known as the semantic shift problem of the non-entity type. In this paper, we introduce a pooled feature distillation loss that skillfully navigates the trade-off between retaining knowledge of old entity types and acquiring new ones, thereby more effectively mitigating the problem of catastrophic forgetting. Additionally, we develop a confidence-based pseudo-labeling for the non-entity type, \emph{i.e.,} predicting entity types using the old model to handle the semantic shift of the non-entity type. Following the pseudo-labeling process, we suggest an adaptive re-weighting type-balanced learning strategy to handle the issue of biased type distribution. We carried out comprehensive experiments on ten CNER settings using three different datasets. The results illustrate that our method significantly outperforms prior state-of-the-art approaches, registering an average improvement of $6.3$\% and $8.0$\% in Micro and Macro F1 scores, respectively.
• Abstract（参考訳）: 連続的名前付きエンティティ認識(Continuous Named Entity Recognition, CNER)は、新しいエンティティタイプを順次組み込むことで、既存のモデルを更新する。 それでも、継続的な学習アプローチは、しばしば破滅的な忘れ物によってひどく悩まされる。 この問題は、CNERにおいて、以前のステップから各ステップにおける非エンティティタイプへの古いエンティティタイプの統合により強化され、非エンティティ型のセマンティックシフト問題と呼ばれる問題に繋がる。 本稿では,古いエンティティタイプの知識の保持と新しいもの獲得のトレードオフを巧みに回避し,破滅的忘れの問題を効果的に緩和する,プールド・フィーチャー蒸留損失を導入する。 さらに,非エンティリティ型に対する信頼に基づく疑似ラベル,すなわち,非エンティリティ型のセマンティックシフトを処理するために,古いモデルを用いてエンティティ型を予測する。 擬似ラベル処理に従えば,偏り型分布の問題に対処するための適応型重み付け型バランス学習戦略を提案する。 3つの異なるデータセットを用いて10個のCNER設定に関する総合的な実験を行った。 以上の結果から,本手法は従来手法よりも有意に優れており,マイクロf1スコアとマクロf1スコアでは平均6.3$\%,8.0$\%の改善が認められている。

関連論文リスト

• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• Multivariate Prototype Representation for Domain-Generalized Incremental Learning [35.83706574551515]
  我々は、古いクラスを記憶し、新しいクラスに適応し、見えないドメインから確実にオブジェクトを分類できるDGCILアプローチを設計する。 我々の損失定式化は、分類境界を維持し、各クラスのドメイン固有情報を抑圧する。
  論文  参考訳（メタデータ） (2023-09-24T06:42:04Z)
• Task Relation Distillation and Prototypical Pseudo Label for Incremental Named Entity Recognition [23.69922938823477]
  InERのためのタスク関係蒸留法とプロトタイプ擬似ラベル(RDP)を提案する。 本手法は従来の最先端手法に比べて,マイクロF1のスコアが6.08%,マクロF1のスコアが7.71%増加し,大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-08-17T05:36:56Z)
• Learning "O" Helps for Learning More: Handling the Concealed Entity Problem for Class-incremental NER [23.625741716498037]
  「ラベルなしエンティティ問題」は「O」と「エンティティ」の間に深刻な混乱をもたらす。 我々は「O」におけるエンティティクラスタを適応的に検出するエンティティ対応コントラスト学習手法を提案する。 クラスインクリメンタルなNERに対して,より現実的で挑戦的なベンチマークを導入する。
  論文  参考訳（メタデータ） (2022-10-10T13:26:45Z)
• Distilling Causal Effect from Miscellaneous Other-Class for Continual Named Entity Recognition [23.25929285468311]
  新しいエンティティタイプと同じ方法で他クラスを学ぶことは、破滅的な忘れを増幅し、大幅なパフォーマンス低下につながる。 我々は新しいエンティティタイプと他クラスの両方から因果関係を取得するための統一因果関係フレームワークを提案する。 3つのベンチマークデータセットによる実験結果から,本手法は最先端の手法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-08T09:37:06Z)
• BMD: A General Class-balanced Multicentric Dynamic Prototype Strategy for Source-free Domain Adaptation [74.93176783541332]
  Source-free Domain Adaptation (SFDA)は、トレーニング済みのソースモデルを、十分にラベル付けされたソースデータにアクセスすることなく、未ラベルのターゲットドメインに適応することを目的としている。 ソースデータの欠如を補うため、既存のほとんどのメソッドは、機能プロトタイプベースの擬似ラベル戦略を導入した。 SFDAタスクのための汎用クラスベース多中心動的プロトタイプ戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-06T13:23:02Z)
• Adaptive Affinity Loss and Erroneous Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation [48.294903659573585]
  本稿では,多段階アプローチの親和性学習を単一段階モデルに組み込むことを提案する。 深層ニューラルネットワークは、トレーニングフェーズで包括的なセマンティック情報を提供するために使用される。 提案手法の有効性を評価するため,PASCAL VOC 2012データセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-08-03T07:48:33Z)
• Unsupervised and self-adaptative techniques for cross-domain person re-identification [82.54691433502335]
  非重複カメラにおける人物再識別(ReID)は難しい課題である。 Unsupervised Domain Adaptation(UDA)は、ソースで訓練されたモデルから、IDラベルアノテーションなしでターゲットドメインへの機能学習適応を実行するため、有望な代替手段です。 本稿では,新しいオフライン戦略によって生成されたサンプルのトリプレットを利用する,UDAベースのReID手法を提案する。
  論文  参考訳（メタデータ） (2021-03-21T23:58:39Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。