論文の概要: ELLEN: Extremely Lightly Supervised Learning For Efficient Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2403.17385v1
• Date: Tue, 26 Mar 2024 05:11:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 16:36:05.522318
• Title: ELLEN: Extremely Lightly Supervised Learning For Efficient Named Entity Recognition
• Title（参考訳）: ELEN:効率的な名前付きエンティティ認識のための極端に軽量な教師付き学習
• Authors: Haris Riaz, Razvan-Gabriel Dumitru, Mihai Surdeanu,
• Abstract要約: ELENは,微調整言語モデルと言語規則をブレンドした,シンプルで完全にモジュール化されたニューロシンボリックな手法である。 ELLENはCoNLL-2003データセット上で非常に強力なパフォーマンスを実現している。 ゼロショット設定では、ELENは金のデータに基づいてトレーニングされた強力で完全な教師付きモデルの75%以上の性能を達成する。
• 参考スコア（独自算出の注目度）: 18.884124657093405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we revisit the problem of semi-supervised named entity recognition (NER) focusing on extremely light supervision, consisting of a lexicon containing only 10 examples per class. We introduce ELLEN, a simple, fully modular, neuro-symbolic method that blends fine-tuned language models with linguistic rules. These rules include insights such as ''One Sense Per Discourse'', using a Masked Language Model as an unsupervised NER, leveraging part-of-speech tags to identify and eliminate unlabeled entities as false negatives, and other intuitions about classifier confidence scores in local and global context. ELLEN achieves very strong performance on the CoNLL-2003 dataset when using the minimal supervision from the lexicon above. It also outperforms most existing (and considerably more complex) semi-supervised NER methods under the same supervision settings commonly used in the literature (i.e., 5% of the training data). Further, we evaluate our CoNLL-2003 model in a zero-shot scenario on WNUT-17 where we find that it outperforms GPT-3.5 and achieves comparable performance to GPT-4. In a zero-shot setting, ELLEN also achieves over 75% of the performance of a strong, fully supervised model trained on gold data. Our code is available at: https://github.com/hriaz17/ELLEN.
• Abstract（参考訳）: 本研究では,クラス毎に10例のみを含む辞書からなる,極めて軽量な監視に焦点を当てた半教師付きエンティティ認識(NER)の問題を再考する。 ELENは,微調整言語モデルと言語規則をブレンドした,シンプルで完全にモジュール化されたニューロシンボリックな手法である。 これらのルールには、'One Sense Per Discourse'のような洞察、マスケッド言語モデルを教師なしのNERとして使用し、未ラベルのエンティティを偽陰性として識別し排除するために音声タグを活用し、局所的およびグローバル的文脈における分類器の信頼性スコアに関する他の直観が含まれる。 ELLENは、上のレキシコンから最小限の監視を使用する場合、CoNLL-2003データセット上で非常に高い性能を達成する。 また、既存の(そしてかなり複雑な)半教師付きNERメソッドを、文献で一般的に使用されるのと同じ監督設定(トレーニングデータの5%)で上回っている。 さらに,WNUT-17のゼロショットシナリオでCoNLL-2003モデルを評価したところ,GPT-3.5より優れ,GPT-4に匹敵する性能が得られた。 ゼロショット設定では、ELENは金のデータに基づいてトレーニングされた強力で完全な教師付きモデルの75%以上の性能を達成する。 私たちのコードは、https://github.com/hriaz17/ELLEN.comで利用可能です。

関連論文リスト

• An Energy-based Model for Word-level AutoCompletion in Computer-aided Translation [97.3797716862478]
  Word-level AutoCompletion (WLAC) は、コンピュータ支援翻訳における報奨だが挑戦的なタスクである。 既存の作業は、入力コンテキストの隠れベクターを対応するラベルにマッピングするニューラルネットワークに基づく分類モデルを通じて、このタスクに対処する。 そこで本研究では,WLACのエネルギーモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-29T15:07:19Z)
• Synergizing Unsupervised and Supervised Learning: A Hybrid Approach for Accurate Natural Language Task Modeling [0.0]
  本稿では,NLPタスクモデリングの精度を向上させるために,教師なし学習と教師なし学習を相乗化する新しいハイブリッド手法を提案する。 提案手法は,未ラベルコーパスから表現を学習する教師なしモジュールと,これらの表現を活用してタスク固有モデルを強化する教師付きモジュールを統合する。 手法の相乗化により、我々のハイブリッドアプローチはベンチマークデータセット上でSOTAの結果を達成し、よりデータ効率が高くロバストなNLPシステムを実現する。
  論文  参考訳（メタデータ） (2024-06-03T08:31:35Z)
• In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
  数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。 我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。 EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
  論文  参考訳（メタデータ） (2024-02-02T06:57:53Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition [48.977866466971655]
  オープンNERのためにChatGPTをはるかに小さなUniversalNERモデルに蒸留する方法を示す。 9つの異なるドメインにわたる43のデータセットからなる、これまでで最大のNERベンチマークを組み立てました。 パラメータのごく一部で、UniversalNERは任意のエンティティタイプを認識するChatGPTの能力を取得するだけでなく、NERの精度を平均7-9絶対F1ポイントで上回る。
  論文  参考訳（メタデータ） (2023-08-07T03:39:52Z)
• GPT-NER: Named Entity Recognition via Large Language Models [58.609582116612934]
  GPT-NERはシーケンスラベリングタスクを言語モデルで容易に適用可能な生成タスクに変換する。 GPT-NERは、トレーニングデータの量が極めて少ない場合、低リソースかつ少数ショットのセットアップにおいて、より優れた能力を示す。 これは、ラベル付きサンプルの数が限られている実世界のNERアプリケーションにおけるGPT-NERの機能を示す。
  論文  参考訳（メタデータ） (2023-04-20T16:17:26Z)
• Language Models in the Loop: Incorporating Prompting into Weak Supervision [11.10422546502386]
  本稿では,ラベル付きトレーニングデータに制限がある場合に,大規模事前学習言語モデルを新しいタスクに適用するための新しい戦略を提案する。 典型的にゼロショットや少数ショットの方法でモデルを適用する代わりに、弱い監督フレームワークにおける関数のラベル付けの基盤としてモデルを扱います。
  論文  参考訳（メタデータ） (2022-05-04T20:42:40Z)
• Learning from Language Description: Low-shot Named Entity Recognition via Decomposed Framework [23.501276952950366]
  本研究では,自然言語の監視から学習し,目に見えないエンティティクラスの識別を可能にする新しいNERフレームワークであるSpanNERを提案する。 筆者らは5つのベンチマークデータセットについて広範な実験を行い、提案手法を数ショットの学習、ドメイン転送、ゼロショットの学習設定で評価した。 実験結果から,提案手法は, 最良ベースラインの10%, 23%, 26%を, 最良ベースライン, ドメイン転送, ゼロショット学習設定でそれぞれ改善できることがわかった。
  論文  参考訳（メタデータ） (2021-09-11T19:52:09Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• Exploiting Global Contextual Information for Document-level Named Entity Recognition [46.99922251839363]
  我々は、GCDoc(Global Context enhanced Document-level NER)と呼ばれるモデルを提案する。 単語レベルでは、文書グラフは単語間のより広範な依存関係をモデル化するために構築される。 文レベルでは、単一文を超えてより広い文脈を適切にモデル化するために、横断文モジュールを用いる。 我々のモデルは、CoNLL 2003データセットで92.22(BERTで93.40)、Ontonotes 5.0データセットで88.32(BERTで90.49)のスコアに達した。
  論文  参考訳（メタデータ） (2021-06-02T01:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。