論文の概要: NERDA-Con: Extending NER models for Continual Learning -- Integrating
Distinct Tasks and Updating Distribution Shifts
- arxiv url: http://arxiv.org/abs/2206.14607v1
- Date: Tue, 28 Jun 2022 03:22:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-02 16:39:01.035774
- Title: NERDA-Con: Extending NER models for Continual Learning -- Integrating
Distinct Tasks and Updating Distribution Shifts
- Title（参考訳）: NERDA-Con: 連続学習のためのNERモデルの拡張 -- 個別タスクの統合と分散シフトの更新
- Authors: Supriti Vijay and Aman Priyanshu
- Abstract要約: 我々は,Large Language Models (LLMs) ベースを用いた NER 学習パイプラインである NERDA-Con を提案する。
私たちの仕事が継続的学習とNERのパイプラインで活用できると信じているので、コードをオープンソースにして、NERDA-Conという同じ名前の微調整ライブラリを提供しています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With increasing applications in areas such as biomedical information
extraction pipelines and social media analytics, Named Entity Recognition (NER)
has become an indispensable tool for knowledge extraction. However, with the
gradual shift in language structure and vocabulary, NERs are plagued with
distribution shifts, making them redundant or not as profitable without
re-training. Re-training NERs based on Large Language Models (LLMs) from
scratch over newly acquired data poses economic disadvantages. In contrast,
re-training only with newly acquired data will result in Catastrophic
Forgetting of previously acquired knowledge. Therefore, we propose NERDA-Con, a
pipeline for training NERs with LLM bases by incorporating the concept of
Elastic Weight Consolidation (EWC) into the NER fine-tuning NERDA pipeline. As
we believe our work has implications to be utilized in the pipeline of
continual learning and NER, we open-source our code as well as provide the
fine-tuning library of the same name NERDA-Con at
https://github.com/SupritiVijay/NERDA-Con and
https://pypi.org/project/NERDA-Con/.
- Abstract（参考訳）: バイオメディカル情報抽出パイプラインやソーシャルメディア分析などの分野の応用が進むにつれ、名前付きエンティティ認識(NER)は知識抽出にとって欠かせないツールとなっている。
しかし、言語構造や語彙の段階的な変化により、nerは分散シフトに苦しめられ、再トレーニングなしでは冗長か利益を得られない。
LLM(Large Language Models)に基づくNERの再訓練は、新たに取得したデータに対してゼロから行われる。
対照的に、新たに取得したデータのみによる再トレーニングは、以前に取得した知識の破滅的な獲得につながる。
そこで我々は,NER微調整NERDAパイプラインにElastic Weight Consolidation(EWC)の概念を組み込むことで,NERをLLMベースでトレーニングするためのパイプラインであるNERDA-Conを提案する。
私たちの作業が継続的学習とNERのパイプラインで利用されると信じているので、コードをオープンソース化するとともに、https://github.com/SupritiVijay/NERDA-Conとhttps://pypi.org/project/NERDA-Con/で、NERDA-Conという同じ名前の微調整ライブラリを提供しています。
関連論文リスト
- WhisperNER: Unified Open Named Entity and Speech Recognition [15.535663273628147]
本稿では,共同音声の書き起こしと実体認識を可能にする新しいモデルであるWhisperNERを紹介する。
WhisperNERはオープンタイプのNERをサポートし、推論時に多様で進化するエンティティの認識を可能にする。
実験の結果,WhisperNERはドメイン外オープン型NERと教師付き微調整の両方において,自然なベースラインよりも優れていた。
論文 参考訳（メタデータ） (2024-09-12T15:00:56Z) - NuNER: Entity Recognition Encoder Pre-training via LLM-Annotated Data [41.94295877935867]
Named Entity Recognitionタスクに特化したコンパクト言語表現モデルであるNuNERの作成方法を示す。
NuNERは、データ効率のよい方法で下流のNER問題を解決するように微調整できる。
トレーニング済みデータセットのサイズとエンティティタイプの多様性が、優れたパフォーマンスを実現するための鍵であることが分かりました。
論文 参考訳（メタデータ） (2024-02-23T14:23:51Z) - In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。
我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。
EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
論文 参考訳（メタデータ） (2024-02-02T06:57:53Z) - Gaussian Prior Reinforcement Learning for Nested Named Entity
Recognition [52.46740830977898]
GPRLと呼ばれる新しいSeq2seqモデルを提案し、ネストしたNERタスクをエンティティ三重項列生成プロセスとして定式化する。
3つのネストされたNERデータセットの実験では、GPRLが以前のネストされたNERモデルより優れていることが示されている。
論文 参考訳（メタデータ） (2023-05-12T05:55:34Z) - T-NER: An All-Round Python Library for Transformer-based Named Entity
Recognition [9.928025283928282]
T-NERは、NER LMファインタニング用のPythonライブラリである。
9つのパブリックなNERデータセットを統一されたフォーマットにコンパイルすることで、ライブラリの可能性を示す。
将来の研究を容易にするため、Hugging Faceモデルハブを通じてLMチェックポイントをすべてリリースしています。
論文 参考訳（メタデータ） (2022-09-09T15:00:38Z) - Optimizing Bi-Encoder for Named Entity Recognition via Contrastive
Learning [80.36076044023581]
名前付きエンティティ認識(NER)のための効率的なバイエンコーダフレームワークを提案する。
我々はNERを、エンティティ参照のベクトル表現とその型との類似性を最大化する計量学習問題とみなす。
NERのこのバイエンコーダの定式化における大きな課題は、エンティティの言及から非エンゲージスを分離することにある。
論文 参考訳（メタデータ） (2022-08-30T23:19:04Z) - Nested Named Entity Recognition as Holistic Structure Parsing [92.8397338250383]
本研究は,文中の全入れ子NEを全体構造としてモデル化し,全体構造解析アルゴリズムを提案する。
実験により、我々のモデルは、最先端にアプローチしたり、あるいは達成したりするような、広く使われているベンチマークで有望な結果が得られることが示された。
論文 参考訳（メタデータ） (2022-04-17T12:48:20Z) - $k$NN-NER: Named Entity Recognition with Nearest Neighbor Search [47.901071142524906]
$k$近くのNER$k$NN-NER)フレームワークは、トレーニングセットから取得した$k$近くの隣人を割り当てることで、エンティティラベルの配布を強化する。
$k$NN-NERは、トレーニングフェーズ中に追加の操作を必要とせず、近くの$k$近くの隣人がバニラNERモデルに検索することで、$k$NN-NERは一貫してバニラモデルよりも優れている。
論文 参考訳（メタデータ） (2022-03-31T15:21:43Z) - ASTRAL: Adversarial Trained LSTM-CNN for Named Entity Recognition [16.43239147870092]
本稿では,モデル構造とトレーニングプロセスの両方から,現在のNER法を改善するためのLSTM-CNN(ASTRAL)システムを提案する。
提案システムは,CoNLL-03,OntoNotes 5.0,WNUT-17の3つのベンチマークで評価し,最先端の結果を得た。
論文 参考訳（メタデータ） (2020-09-02T13:15:25Z) - BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant
Supervision [49.42215511723874]
我々は,NERモデルの予測性能を改善するための新しい計算フレームワーク,BONDを提案する。
具体的には,2段階の学習アルゴリズムを提案する。第1段階では,遠隔ラベルを用いて,事前学習された言語モデルをNERタスクに適用する。
第2段階では,遠隔ラベルを廃止し,モデル性能をさらに向上するための自己学習手法を提案する。
論文 参考訳（メタデータ） (2020-06-28T04:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。