論文の概要: Beyond Boundaries: Learning a Universal Entity Taxonomy across Datasets and Languages for Open Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2406.11192v1
• Date: Mon, 17 Jun 2024 03:57:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 18:24:06.872906
• Title: Beyond Boundaries: Learning a Universal Entity Taxonomy across Datasets and Languages for Open Named Entity Recognition
• Title（参考訳）: 境界を超えて: オープンな名前付きエンティティ認識のためのデータセットと言語をまたいだ普遍的なエンティティ分類を学ぶ
• Authors: Yuming Yang, Wantong Zhao, Caishuang Huang, Junjie Ye, Xiao Wang, Huiyuan Zheng, Yang Nan, Yuran Wang, Xueying Xu, Kaixin Huang, Yunke Zhang, Tao Gui, Qi Zhang, Xuanjing Huang,
• Abstract要約: 我々は,Open NERの凝集性および効率的なデータセットであるB2NERDを提案する。 データセット間の一貫性のないエンティティ定義を検出し,識別可能なラベル名を用いて識別し,400以上のエンティティタイプを普遍的に分類する。 我々のB2NERモデルは、B2NERDでトレーニングされ、GPT-4を6.8-12.0 F1ポイント上回っており、15のデータセットと6つの言語にわたる3つのドメイン外のベンチマークで、以前のメソッドを上回っています。
• 参考スコア（独自算出の注目度）: 40.23783832224238
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open Named Entity Recognition (NER), which involves identifying arbitrary types of entities from arbitrary domains, remains challenging for Large Language Models (LLMs). Recent studies suggest that fine-tuning LLMs on extensive NER data can boost their performance. However, training directly on existing datasets faces issues due to inconsistent entity definitions and redundant data, limiting LLMs to dataset-specific learning and hindering out-of-domain generalization. To address this, we present B2NERD, a cohesive and efficient dataset for Open NER, normalized from 54 existing English or Chinese datasets using a two-step approach. First, we detect inconsistent entity definitions across datasets and clarify them by distinguishable label names to construct a universal taxonomy of 400+ entity types. Second, we address redundancy using a data pruning strategy that selects fewer samples with greater category and semantic diversity. Comprehensive evaluation shows that B2NERD significantly improves LLMs' generalization on Open NER. Our B2NER models, trained on B2NERD, outperform GPT-4 by 6.8-12.0 F1 points and surpass previous methods in 3 out-of-domain benchmarks across 15 datasets and 6 languages.
• Abstract（参考訳）: 任意のドメインから任意のタイプのエンティティを識別するOpen Named Entity Recognition (NER) は、Large Language Models (LLM) では依然として困難である。 近年の研究では、広範囲なNERデータに対する微調整LDMにより、その性能が向上することが示唆されている。 しかし、既存のデータセットを直接トレーニングすることは、一貫性のないエンティティ定義と冗長なデータのために問題に直面し、LLMをデータセット固有の学習に制限し、ドメイン外の一般化を妨げる。 そこで本研究では,既存の54の英語または中国語のデータセットから2段階のアプローチを用いて正規化された,Open NER用の凝集性で効率的なデータセットであるB2NERDを提案する。 まず,データセット間の一貫性のないエンティティ定義を検出し,識別可能なラベル名を用いて識別し,400以上のエンティティタイプを普遍的に分類する。 第2に、より大きなカテゴリとセマンティックな多様性を持つより少ないサンプルを選択するデータプルーニング戦略を用いて、冗長性に対処する。 総合評価の結果,B2NERD は Open NER 上での LLM の一般化を著しく改善することが示された。 我々のB2NERモデルは、B2NERDでトレーニングされ、GPT-4を6.8-12.0 F1ポイント上回っており、15のデータセットと6つの言語にわたる3つのドメイン外のベンチマークで、以前のメソッドを上回っています。

関連論文リスト

• NERetrieve: Dataset for Next Generation Named Entity Recognition and Retrieval [49.827932299460514]
  我々は、大きな言語モデルによって提供される能力は、NER研究の終わりではなく、むしろエキサイティングな始まりであると主張する。 我々は、NERタスクの3つの変種と、それらをサポートするデータセットを示す。 500のエンティティタイプをカバーする400万段落の,大規模で銀の注釈付きコーパスを提供する。
  論文  参考訳（メタデータ） (2023-10-22T12:23:00Z)
• Taxonomy Expansion for Named Entity Recognition [65.49344005894996]
  名前付きエンティティ認識(NER)モデルをトレーニングするには、しばしばエンティティタイプの分類を修正する必要がある。 単純なアプローチは、既存のエンティティタイプと追加エンティティタイプの両方でデータセット全体をアノテートすることだ。 部分的ラベルモデル(PLM)と呼ばれる,注釈付きデータセットのみを用いる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:23:46Z)
• T-NER: An All-Round Python Library for Transformer-based Named Entity Recognition [9.928025283928282]
  T-NERは、NER LMファインタニング用のPythonライブラリである。 9つのパブリックなNERデータセットを統一されたフォーマットにコンパイルすることで、ライブラリの可能性を示す。 将来の研究を容易にするため、Hugging Faceモデルハブを通じてLMチェックポイントをすべてリリースしています。
  論文  参考訳（メタデータ） (2022-09-09T15:00:38Z)
• Optimizing Bi-Encoder for Named Entity Recognition via Contrastive Learning [80.36076044023581]
  名前付きエンティティ認識(NER)のための効率的なバイエンコーダフレームワークを提案する。 我々はNERを、エンティティ参照のベクトル表現とその型との類似性を最大化する計量学習問題とみなす。 NERのこのバイエンコーダの定式化における大きな課題は、エンティティの言及から非エンゲージスを分離することにある。
  論文  参考訳（メタデータ） (2022-08-30T23:19:04Z)
• MultiCoNER: A Large-scale Multilingual dataset for Complex Named Entity Recognition [15.805414696789796]
  我々は、11言語にわたる3つのドメイン(ウィキ文、質問、検索クエリ)をカバーする、名前付きエンティティ認識のための大規模な多言語データセットであるMultiCoNERを提案する。 このデータセットは、低コンテキストシナリオを含む、NERの現代的課題を表現するように設計されている。
  論文  参考訳（メタデータ） (2022-08-30T20:45:54Z)
• Simple Questions Generate Named Entity Recognition Datasets [18.743889213075274]
  この研究は、単純な自然言語の質問によってNERデータセットを自動的に生成する、要求対生成のアプローチを導入している。 我々のモデルは、4つの異なる領域にわたる6つのNERベンチマークにおいて、以前の弱い教師付きモデルよりも大幅に優れています。 自然言語でNERのニーズを定式化することで、アワードのようなきめ細かいエンティティタイプのためのNERモデルを構築することもできます。
  論文  参考訳（メタデータ） (2021-12-16T11:44:38Z)
• Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification [101.1886788396803]
  人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。 残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。 本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
  論文  参考訳（メタデータ） (2021-09-12T15:51:41Z)
• An Open-Source Dataset and A Multi-Task Model for Malay Named Entity Recognition [3.511753382329252]
  マレーNERデータセット(MYNER)を28,991文(384万個以上)で構築する。 NERトレーニングを明示的かつ暗黙的に改善するために、補助的なタスクである境界検出が導入されている。
  論文  参考訳（メタデータ） (2021-09-03T03:29:25Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Cascaded Models for Better Fine-Grained Named Entity Recognition [10.03287972980716]
  細粒度NERをラベル付けするためのケースドアプローチを新たにリリースした細粒度NERデータセットに適用する。 完全きめ細かな型で構築された直感的なモデルと比較して,20F1絶対値で性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-09-15T18:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。