論文の概要: TKDP: Threefold Knowledge-enriched Deep Prompt Tuning for Few-shot Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2306.03974v2
• Date: Sat, 10 Jun 2023 06:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 23:06:38.226996
• Title: TKDP: Threefold Knowledge-enriched Deep Prompt Tuning for Few-shot Named Entity Recognition
• Title（参考訳）: TKDP: 名前付きエンティティ認識のための3倍の知識強化深部プロンプトチューニング
• Authors: Jiang Liu, Hao Fei, Fei Li, Jingye Li, Bobo Li, Liang Zhao, Chong Teng and Donghong Ji
• Abstract要約: 名前付きエンティティ認識(NER)は限定アノテーション付きインスタンスを利用して名前付き参照を識別する。 我々は3倍の知識(すなわちTKDP)を持つディープ・プロンプト・チューニング・フレームワークを提案する。 5つのベンチマークデータセットで、私たちの知識に富んだモデルは、生のディーププロンプト法よりも少なくとも11.53%F1を向上します。
• 参考スコア（独自算出の注目度）: 41.96421660214894
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Few-shot named entity recognition (NER) exploits limited annotated instances to identify named mentions. Effectively transferring the internal or external resources thus becomes the key to few-shot NER. While the existing prompt tuning methods have shown remarkable few-shot performances, they still fail to make full use of knowledge. In this work, we investigate the integration of rich knowledge to prompt tuning for stronger few-shot NER. We propose incorporating the deep prompt tuning framework with threefold knowledge (namely TKDP), including the internal 1) context knowledge and the external 2) label knowledge & 3) sememe knowledge. TKDP encodes the three feature sources and incorporates them into the soft prompt embeddings, which are further injected into an existing pre-trained language model to facilitate predictions. On five benchmark datasets, our knowledge-enriched model boosts by at most 11.53% F1 over the raw deep prompt method, and significantly outperforms 8 strong-performing baseline systems in 5-/10-/20-shot settings, showing great potential in few-shot NER. Our TKDP can be broadly adapted to other few-shot tasks without effort.
• Abstract（参考訳）: 名前付きエンティティ認識(NER)は限定アノテーション付きインスタンスを利用して名前付き参照を識別する。 これにより、内部または外部のリソースを効果的に転送することが、少数ショットNERの鍵となる。 既存のプロンプトチューニング手法は目覚ましい数ショットパフォーマンスを示しているが、知識のフル活用には至っていない。 本研究では,より強力なNERのためのチューニングを促すため,豊富な知識の統合について検討する。 内部を含む3つの知識(すなわちTKDP)を組み込んだディーププロンプトチューニングフレームワークを提案する。 1)文脈知識と外部 2)ラベル知識、3)セム知識。 TKDPはこれら3つの特徴源を符号化し、それらをソフトプロンプト埋め込みに組み込む。 5つのベンチマークデータセットにおいて、我々の知識豊か化モデルは、生のディーププロンプト法よりも少なくとも11.53%F1を向上し、5/10/20ショット設定で8つの強力なパフォーマンスベースラインシステムを大幅に上回り、数発のNERにおいて大きな可能性を秘めている。 われわれのTKDPは、他の数発のタスクに、手間をかけずに広く適応できる。

関連論文リスト

• In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
  数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。 我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。 EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
  論文  参考訳（メタデータ） (2024-02-02T06:57:53Z)
• Prompt-Time Symbolic Knowledge Capture with Large Language Models [0.0]
  ユーザ固有の知識で大きな言語モデル(LLM)を拡張することは、パーソナルAIアシスタントのような現実世界のアプリケーションにとって不可欠である。 本稿では,既存のLLM機能を活用して,迅速な知識獲得を実現する。
  論文  参考訳（メタデータ） (2024-02-01T08:15:28Z)
• InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural Language Understanding [51.48361798508375]
  我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。 本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-06-08T04:31:48Z)
• Prompting ChatGPT in MNER: Enhanced Multimodal Named Entity Recognition with Auxiliary Refined Knowledge [27.152813529536424]
  PGIM - ChatGPTを暗黙の知識基盤として活用することを目的とした2段階のフレームワークを提案する。 PGIMはより効率的なエンティティ予測のための補助知識を生成する。 これは、2つの古典的なMNERデータセットで最先端の手法より優れている。
  論文  参考訳（メタデータ） (2023-05-20T15:24:38Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• IXA/Cogcomp at SemEval-2023 Task 2: Context-enriched Multilingual Named Entity Recognition using Knowledge Bases [53.054598423181844]
  3つのステップからなる新しいNERカスケードアプローチを提案する。 我々は、細粒度および新興物質を正確に分類する上で、外部知識基盤の重要性を実証的に示す。 本システムは,低リソース言語設定においても,マルチコネラ2共有タスクにおいて頑健な性能を示す。
  論文  参考訳（メタデータ） (2023-04-20T20:30:34Z)
• DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning [18.838291575019504]
  事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。 辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。 我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-01T06:43:19Z)
• KARL-Trans-NER: Knowledge Aware Representation Learning for Named Entity Recognition using Transformers [0.0]
  名前付きエンティティ認識(NER)のための知識認識表現学習(KARL)ネットワークを提案する。 KARLは、ファクトトリプレットとして表される大きな知識ベースを利用し、それらをコンテキストに変換し、内部に存在する必須情報を抽出して、特徴拡張のためのコンテキスト化三重項表現を生成するトランスフォーマーに基づいている。 実験結果から,KARL を用いた拡張は NER システムの性能を大幅に向上させ,既存の 3 つの NER データセット(CoNLL 2003,CoNLL++,OntoNotes v5 など)の文献上のアプローチよりもはるかに優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-11-30T14:29:33Z)
• AutoTriggER: Label-Efficient and Robust Named Entity Recognition with Auxiliary Trigger Extraction [54.20039200180071]
  我々は,エンティティトリガの自動生成と活用によるNER性能向上のための新しいフレームワークを提案する。 筆者らのフレームワークは,ポストホックな説明を活用して合理的な知識を生成し,埋め込み手法を用いてモデルの事前知識を強化する。 AutoTriggERは強力なラベル効率を示し、目に見えないエンティティを一般化し、RoBERTa-CRFベースラインを平均0.5F1ポイント上回る性能を持つ。
  論文  参考訳（メタデータ） (2021-09-10T08:11:56Z)
• Empirical Study of Named Entity Recognition Performance Using Distribution-aware Word Embedding [15.955385058787348]
  そこで我々は,NERフレームワークにおける分散情報を利用するために,分散対応単語埋め込みを開発し,三つの異なる手法を実装した。 単語特異性が既存のNERメソッドに組み込まれれば、NERのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2021-09-03T17:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。