論文の概要: UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2308.03279v1
• Date: Mon, 7 Aug 2023 03:39:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-08 15:21:04.979854
• Title: UniversalNER: Targeted Distillation from Large Language Models for Open Named Entity Recognition
• Title（参考訳）: UniversalNER: オープンネームエンティティ認識のための大規模言語モデルからの蒸留ターゲット
• Authors: Wenxuan Zhou, Sheng Zhang, Yu Gu, Muhao Chen, Hoifung Poon
• Abstract要約: オープンNERのためにChatGPTをはるかに小さなUniversalNERモデルに蒸留する方法を示す。 9つの異なるドメインにわたる43のデータセットからなる、これまでで最大のNERベンチマークを組み立てました。 直接の監督を使わずに、UniversalNERは数万のエンティティタイプで顕著なNER精度を達成する。
• 参考スコア（独自算出の注目度）: 35.52745253572989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable generalizability, such as understanding arbitrary entities and relations. Instruction tuning has proven effective for distilling LLMs into more cost-efficient models such as Alpaca and Vicuna. Yet such student models still trail the original LLMs by large margins in downstream applications. In this paper, we explore targeted distillation with mission-focused instruction tuning to train student models that can excel in a broad application class such as open information extraction. Using named entity recognition (NER) for case study, we show how ChatGPT can be distilled into much smaller UniversalNER models for open NER. For evaluation, we assemble the largest NER benchmark to date, comprising 43 datasets across 9 diverse domains such as biomedicine, programming, social media, law, finance. Without using any direct supervision, UniversalNER attains remarkable NER accuracy across tens of thousands of entity types, outperforming general instruction-tuned models such as Alpaca and Vicuna by over 30 absolute F1 points in average. With a tiny fraction of parameters, UniversalNER not only acquires ChatGPT's capability in recognizing arbitrary entity types, but also outperforms its NER accuracy by 7-9 absolute F1 points in average. Remarkably, UniversalNER even outperforms by a large margin state-of-the-art multi-task instruction-tuned systems such as InstructUIE, which uses supervised NER examples. We also conduct thorough ablation studies to assess the impact of various components in our distillation approach. We will release the distillation recipe, data, and UniversalNER models to facilitate future research on targeted distillation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、任意の実体や関係を理解するなど、顕著な一般化性を示している。 インストラクションチューニングは、AlpacaやVicunaのようなよりコスト効率の良いモデルにLLMを蒸留するのに有効であることが証明されている。 しかし、これらの学生モデルは、下流のアプリケーションにおいて大きなマージンで元のLLMを追随している。 本稿では,オープン情報抽出などの幅広い応用クラスで優れた学生モデルを訓練するための,ミッション指向の指導チューニングによるターゲット蒸留について検討する。 ケーススタディでは、名前付きエンティティ認識(NER)を用いて、ChatGPTをより小さなUniversalNERモデルに蒸留してオープンNERを構築する方法を示す。 評価のために, バイオメディシン, プログラミング, ソーシャルメディア, 法律, ファイナンスなど9つの領域にわたる43のデータセットからなるNERベンチマークを作成した。 直接の監督を使わずに、UniversalNERは数万のエンティティタイプにまたがる顕著なNER精度を達成し、AlpacaやVicunaのような一般的な命令チューニングモデルよりも平均30以上の絶対的なF1点を達成している。 パラメータのごく一部で、UniversalNERは任意のエンティティタイプを認識するChatGPTの能力を取得するだけでなく、NERの精度を平均7-9絶対F1ポイントで上回る。 注目すべきは、UniversalNERは、教師付きNERの例を使用するInstructUIEのような、最先端のマルチタスク命令チューニングシステムよりも優れています。 また, 蒸留アプローチにおける各種成分の影響を評価するため, 徹底的なアブレーション試験を行った。 我々は,将来の蒸留研究を促進するために,蒸留レシピ,データ,ユニバーサルナーモデルをリリースする。

関連論文リスト

• Evaluating Named Entity Recognition Using Few-Shot Prompting with Large Language Models [0.0]
  Few-Shot PromptingやIn-context Learningは、モデルが最小限の例でエンティティを認識できるようにする。 NERタスクにおけるGPT-4のような最先端モデルの評価を行い、その数ショットのパフォーマンスと完全に教師付きベンチマークを比較した。
  論文  参考訳（メタデータ） (2024-08-28T13:42:28Z)
• FsPONER: Few-shot Prompt Optimization for Named Entity Recognition in Domain-specific Scenarios [0.5106912532044251]
  FsPONERは、少数ショットプロンプトを最適化するための新しいアプローチであり、ドメイン固有のNERデータセットの性能を評価する。 FsPONERは、ランダムサンプリングとTF-IDFとの組み合わせに基づく3つのショット選択法で構成されている。 データ不足を考慮した実世界のシナリオでは、TF-IDFを用いたFsPONERは、F1スコアで約10%の微調整モデルを上回っている。
  論文  参考訳（メタデータ） (2024-07-10T20:32:50Z)
• GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks [0.0]
  我々は,小さなエンコーダモデルであると同時に,様々な情報抽出タスクに使用できる新しい種類のGLiNERモデルを導入する。 我々のモデルは,ゼロショットNERベンチマークにおけるSoTA性能を達成し,質問応答,要約,関係抽出タスクにおける主要な性能を実現した。
  論文  参考訳（メタデータ） (2024-06-14T13:54:29Z)
• GLiNER: Generalist Model for Named Entity Recognition using Bidirectional Transformer [4.194768796374315]
  名前付きエンティティ認識(NER)は、様々な自然言語処理(NLP)アプリケーションに必須である。 本稿では,任意の種類のエンティティを識別するために訓練されたコンパクトなNERモデルを提案する。 我々のモデルであるGLiNERは、Large Language Models (LLM) の遅いシーケンシャルトークン生成に対するアドバンテージである並列エンティティ抽出を容易にする。
  論文  参考訳（メタデータ） (2023-11-14T20:39:12Z)
• A Confidence-based Partial Label Learning Model for Crowd-Annotated Named Entity Recognition [74.79785063365289]
  名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。 我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
  論文  参考訳（メタデータ） (2023-05-21T15:31:23Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)
• AutoTriggER: Label-Efficient and Robust Named Entity Recognition with Auxiliary Trigger Extraction [54.20039200180071]
  我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。 筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。 AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
  論文  参考訳（メタデータ） (2021-09-10T08:11:56Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。