論文の概要: One Model to Recognize Them All: Marginal Distillation from NER Models with Different Tag Sets

• arxiv url: http://arxiv.org/abs/2004.05140v2
• Date: Fri, 17 Apr 2020 13:55:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 21:04:44.564404
• Title: One Model to Recognize Them All: Marginal Distillation from NER Models with Different Tag Sets
• Title（参考訳）: すべてを認識する1つのモデル:異なるタグセットを持つnerモデルからの限界蒸留
• Authors: Keunwoo Peter Yu and Yi Yang
• Abstract要約: 名前付きエンティティ認識(NER)は、現代の言語理解パイプラインの基本コンポーネントである。 本稿では,不均一なタグセットを持つ資源から統一NERモデルを訓練するための限界蒸留(MARDI)手法を提案する。
• 参考スコア（独自算出の注目度）: 30.445201832698192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Named entity recognition (NER) is a fundamental component in the modern language understanding pipeline. Public NER resources such as annotated data and model services are available in many domains. However, given a particular downstream application, there is often no single NER resource that supports all the desired entity types, so users must leverage multiple resources with different tag sets. This paper presents a marginal distillation (MARDI) approach for training a unified NER model from resources with disjoint or heterogeneous tag sets. In contrast to recent works, MARDI merely requires access to pre-trained models rather than the original training datasets. This flexibility makes it easier to work with sensitive domains like healthcare and finance. Furthermore, our approach is general enough to integrate with different NER architectures, including local models (e.g., BiLSTM) and global models (e.g., CRF). Experiments on two benchmark datasets show that MARDI performs on par with a strong marginal CRF baseline, while being more flexible in the form of required NER resources. MARDI also sets a new state of the art on the progressive NER task. MARDI significantly outperforms the start-of-the-art model on the task of progressive NER.
• Abstract（参考訳）: 名前付きエンティティ認識(NER)は、現代の言語理解パイプラインの基本コンポーネントである。 注釈付きデータやモデルサービスのようなパブリックなNERリソースは、多くのドメインで利用可能である。 しかし、特定の下流アプリケーションを考えると、望まれるすべてのエンティティタイプをサポートする単一のNERリソースは存在しないことが多いため、ユーザは異なるタグセットで複数のリソースを利用する必要がある。 本稿では,不均一なタグセットを持つ資源から統一NERモデルを訓練するための限界蒸留(MARDI)手法を提案する。 最近の研究とは対照的に、MARDIはトレーニングデータセットではなく、単にトレーニング済みのモデルへのアクセスを必要とする。 この柔軟性により、医療や金融といった繊細な分野の作業が容易になる。 さらに、我々のアプローチは、ローカルモデル(例えば、BiLSTM)やグローバルモデル(例えば、CRF)を含む異なるNERアーキテクチャと統合するのに十分である。 2つのベンチマークデータセットの実験では、MARDIは強力な限界CRFベースラインと同等に動作し、必要なNERリソースの形でより柔軟であることが示されている。 MARDIはまた、プログレッシブNERタスクに新しい技術状況を設定する。 MARDIはプログレッシブNERのタスクにおいて、最先端のモデルよりも大幅に優れている。

関連論文リスト

• GEIC: Universal and Multilingual Named Entity Recognition with Large Language Models [7.714969840571947]
  ジェネレーションベース抽出とテキスト内分類(GEIC)の課題について紹介する。 次に,多言語GEICフレームワークであるCascadeNERを提案する。 我々はまた、Large Language Models(LLMs)用に特別に設計された最初のNERデータセットであるAnythingNERを紹介します。
  論文  参考訳（メタデータ） (2024-09-17T09:32:12Z)
• Hybrid Multi-stage Decoding for Few-shot NER with Entity-aware Contrastive Learning [32.62763647036567]
  名前付きエンティティ認識は、ラベル付けされたいくつかの例に基づいて、新しいタイプの名前付きエンティティを識別できる。 MsFNER(Entity-Aware Contrastive Learning)を用いたFew-shot NERのためのハイブリッド多段復号法を提案する。 MsFNERは一般的なNERを、エンティティスパン検出とエンティティ分類の2つのステージに分割する。
  論文  参考訳（メタデータ） (2024-04-10T12:31:09Z)
• Named Entity Recognition via Machine Reading Comprehension: A Multi-Task Learning Approach [50.12455129619845]
  Named Entity Recognition (NER) は、テキスト内のエンティティの参照を事前に定義された型に抽出し、分類することを目的としている。 我々は,MRCベースのNERを改善するために,エンティティタイプ間のラベル依存性をマルチタスク学習フレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-09-20T03:15:05Z)
• Enhancing Few-shot NER with Prompt Ordering based Data Augmentation [59.69108119752584]
  本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-19T16:25:43Z)
• One Model for All Domains: Collaborative Domain-Prefix Tuning for Cross-Domain NER [92.79085995361098]
  クロスドメインNERは、実践シナリオにおける低リソースの問題に対処する上で難しいタスクである。 事前学習言語モデル(PLM)によるNERモデルと、リッチリソースドメインのデータとを主に取得し、ターゲットドメインに適応させる。 テキストからテキストへの生成 PLM に基づくクロスドメイン NER のための協調的ドメイン修正チューニングを提案する。
  論文  参考訳（メタデータ） (2023-01-25T05:16:43Z)
• Simple Questions Generate Named Entity Recognition Datasets [18.743889213075274]
  この研究は、単純な自然言語の質問によってNERデータセットを自動的に生成する、要求対生成のアプローチを導入している。 我々のモデルは、4つの異なる領域にわたる6つのNERベンチマークにおいて、以前の弱い教師付きモデルよりも大幅に優れています。 自然言語でNERのニーズを定式化することで、アワードのようなきめ細かいエンティティタイプのためのNERモデルを構築することもできます。
  論文  参考訳（メタデータ） (2021-12-16T11:44:38Z)
• NER-BERT: A Pre-trained Model for Low-Resource Entity Tagging [40.57720568571513]
  比較的高品質な大規模NERコーパスを構築し,生成したデータセットに基づいてNER-BERTモデルを事前学習する。 実験結果から,当社の事前学習モデルは,低リソースシナリオにおけるBERTと他の強力なベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-12-01T10:45:02Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Zero-Resource Cross-Domain Named Entity Recognition [68.83177074227598]
  既存のドメイン名付きエンティティ認識モデルは、多くのラベルなしコーパスや、ターゲットドメイン内のラベル付きNERトレーニングデータに依存している。 外部リソースを一切使用しないドメイン間NERモデルを提案する。
  論文  参考訳（メタデータ） (2020-02-14T09:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。