論文の概要: Adaptive Name Entity Recognition under Highly Unbalanced Data

• arxiv url: http://arxiv.org/abs/2003.10296v1
• Date: Tue, 10 Mar 2020 06:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 20:17:26.728534
• Title: Adaptive Name Entity Recognition under Highly Unbalanced Data
• Title（参考訳）: 高度不均衡データに基づく適応的名前認識
• Authors: Thong Nguyen, Duy Nguyen, Pramod Rao
• Abstract要約: 我々は,2方向LSTM (BI-LSTM) 上に積み重ねた条件付きランダムフィールド (CRF) 層からなるニューラルアーキテクチャについて実験を行った。 WeakクラスとStrongクラスを2つの異なるセットに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを提案する。
• 参考スコア（独自算出の注目度）: 5.575448433529451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For several purposes in Natural Language Processing (NLP), such as Information Extraction, Sentiment Analysis or Chatbot, Named Entity Recognition (NER) holds an important role as it helps to determine and categorize entities in text into predefined groups such as the names of persons, locations, quantities, organizations or percentages, etc. In this report, we present our experiments on a neural architecture composed of a Conditional Random Field (CRF) layer stacked on top of a Bi-directional LSTM (BI-LSTM) layer for solving NER tasks. Besides, we also employ a fusion input of embedding vectors (Glove, BERT), which are pre-trained on the huge corpus to boost the generalization capacity of the model. Unfortunately, due to the heavy unbalanced distribution cross-training data, both approaches just attained a bad performance on less training samples classes. To overcome this challenge, we introduce an add-on classification model to split sentences into two different sets: Weak and Strong classes and then designing a couple of Bi-LSTM-CRF models properly to optimize performance on each set. We evaluated our models on the test set and discovered that our method can improve performance for Weak classes significantly by using a very small data set (approximately 0.45\%) compared to the rest classes.
• Abstract（参考訳）: 自然言語処理(nlp)において、情報抽出、感情分析、チャットボットなどいくつかの目的において、名前付きエンティティ認識(ner)は、テキスト中のエンティティを人名、場所、量、組織、パーセンテージなどの予め定義されたグループに分類し分類する上で重要な役割を担っている。 本稿では,両方向LSTM(BI-LSTM)層上に積み重ねた条件付きランダムフィールド(CRF)層からなるニューラルアーキテクチャの実験を行った。 さらに、巨大なコーパス上で事前学習された埋め込みベクトル(glove, bert)の融合入力を用いて、モデルの一般化能力を高める。 残念ながら、重いアンバランスな分散クロストレーニングデータのために、両方のアプローチはトレーニングの少ないサンプルクラスで悪いパフォーマンスを達成した。 この課題を克服するために、文を弱クラスと強クラスに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを導入する。 テストセット上でのモデル評価を行い,他のクラスと比較して非常に小さなデータセット(約 0.45 %)を使用することで,Weakクラスの性能を著しく向上できることを確認した。

関連論文リスト

• In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models [37.45103473809928]
  In2Coreアルゴリズムは,トレーニングモデルと評価サンプルの相関関係を解析し,コアセットを選択する。 LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。
  論文  参考訳（メタデータ） (2024-08-07T05:48:05Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Hybrid Multi-stage Decoding for Few-shot NER with Entity-aware Contrastive Learning [32.62763647036567]
  名前付きエンティティ認識は、ラベル付けされたいくつかの例に基づいて、新しいタイプの名前付きエンティティを識別できる。 MsFNER(Entity-Aware Contrastive Learning)を用いたFew-shot NERのためのハイブリッド多段復号法を提案する。 MsFNERは一般的なNERを、エンティティスパン検出とエンティティ分類の2つのステージに分割する。
  論文  参考訳（メタデータ） (2024-04-10T12:31:09Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Ensemble Classifier Design Tuned to Dataset Characteristics for Network Intrusion Detection [0.0]
  データセットのクラスオーバーラップ問題に対処する2つの新しいアルゴリズムが提案されている。 提案手法は二進分類と多進分類の両方で評価される。
  論文  参考訳（メタデータ） (2022-05-08T21:06:42Z)
• A Lagrangian Duality Approach to Active Learning [119.36233726867992]
  トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。 制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。 数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
  論文  参考訳（メタデータ） (2022-02-08T19:18:49Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)
• Adaptive Prototypical Networks with Label Words and Joint Representation Learning for Few-Shot Relation Classification [17.237331828747006]
  本研究は,少ショット関係分類(FSRC)に焦点を当てる。 クラスプロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。 FewRelでは、異なる数ショット(FS)設定で実験が行われた。
  論文  参考訳（メタデータ） (2021-01-10T11:25:42Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。