論文の概要: A Neural Span-Based Continual Named Entity Recognition Model
- arxiv url: http://arxiv.org/abs/2302.12200v2
- Date: Mon, 17 Jul 2023 08:09:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 23:10:30.611506
- Title: A Neural Span-Based Continual Named Entity Recognition Model
- Title(参考訳): ニューラルネットワークによる連続名前付きエンティティ認識モデル
- Authors: Yunan Zhang, Qingcai Chen
- Abstract要約: SpanKLは知識蒸留(KD)による記憶の保存とCL-NERの衝突を防ぐためのマルチラベル予測のためのモデルである。
OntoNotes と Few-NERD から得られた合成CLデータセットの実験により、SpanKL は以前の SoTA よりも多くの点で顕著に優れていることが示された。
- 参考スコア(独自算出の注目度): 13.982996312057207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Named Entity Recognition (NER) models capable of Continual Learning (CL) are
realistically valuable in areas where entity types continuously increase (e.g.,
personal assistants). Meanwhile the learning paradigm of NER advances to new
patterns such as the span-based methods. However, its potential to CL has not
been fully explored. In this paper, we propose SpanKL, a simple yet effective
Span-based model with Knowledge distillation (KD) to preserve memories and
multi-Label prediction to prevent conflicts in CL-NER. Unlike prior sequence
labeling approaches, the inherently independent modeling in span and entity
level with the designed coherent optimization on SpanKL promotes its learning
at each incremental step and mitigates the forgetting. Experiments on synthetic
CL datasets derived from OntoNotes and Few-NERD show that SpanKL significantly
outperforms previous SoTA in many aspects, and obtains the smallest gap from CL
to the upper bound revealing its high practiced value. The code is available at
https://github.com/Qznan/SpanKL.
- Abstract(参考訳): 連続学習(CL)が可能な名前付きエンティティ認識(NER)モデルは、エンティティタイプが継続的に増加する領域(例えばパーソナルアシスタント)において現実的に有用である。
一方、nerの学習パラダイムは、スパンベースのメソッドのような新しいパターンに進化する。
しかし、clへの可能性は完全には検討されていない。
本稿では,cl-nerにおける競合を防止するために,メモリ保存とマルチラベル予測を行うkdモデルであるspanklを提案する。
従来のシーケンスラベリングアプローチとは異なり、SpanKLのコヒーレント最適化によるスパンとエンティティレベルの本質的に独立したモデリングは、各段階における学習を促進し、忘れを緩和する。
OntoNotes と Few-NERD から得られた合成CLデータセットの実験により、SpanKL は以前の SoTA よりも多くの点で顕著に優れており、CL から上界への最小のギャップが得られた。
コードはhttps://github.com/Qznan/SpanKLで公開されている。
関連論文リスト
- ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。
ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。
我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
論文 参考訳(メタデータ) (2024-03-29T11:31:12Z) - CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models [23.398619576886375]
継続学習(CL)は、深層ニューラルネットワークが学習内容を保持しながら新しい知識を学ぶのを支援することを目的としている。
近年、CLIPのような強力な一般化能力を持つ事前学習型視覚言語モデルが、実用的なCL候補として注目を集めている。
我々の研究は、確率的微調整(CLAP)による連続LeArningを提案する。
論文 参考訳(メタデータ) (2024-03-28T04:15:58Z) - Calibrating Multi-modal Representations: A Pursuit of Group Robustness
without Annotations [20.981354848227912]
CLIPのような微調整済みの視覚言語モデルは、さまざまな下流タスクで成功している。
これらの調整されたモデルは高度に専門化され、実際の展開の実用性が制限される傾向にある。
微調整CLIPのための軽量表現校正法を提案する。
論文 参考訳(メタデータ) (2024-03-12T01:47:17Z) - Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。
新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。
新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
論文 参考訳(メタデータ) (2024-01-03T07:59:17Z) - Read Between the Layers: Leveraging Intra-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models [15.847302755988506]
連続学習のための新しいプロトタイプベースのアプローチであるLayUPを提案する。
提案手法は概念的には単純で,事前データへのアクセスを必要としない。
その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
論文 参考訳(メタデータ) (2023-12-13T13:11:44Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - SLCA: Slow Learner with Classifier Alignment for Continual Learning on a
Pre-trained Model [73.80068155830708]
予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。
Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。
さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
論文 参考訳(メタデータ) (2023-03-09T08:57:01Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳(メタデータ) (2023-02-02T04:27:54Z) - The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。
本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。
単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文 参考訳(メタデータ) (2022-01-17T09:09:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。