論文の概要: ContrastNER: Contrastive-based Prompt Tuning for Few-shot NER

• arxiv url: http://arxiv.org/abs/2305.17951v1
• Date: Mon, 29 May 2023 08:24:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 15:50:16.162335
• Title: ContrastNER: Contrastive-based Prompt Tuning for Few-shot NER
• Title（参考訳）: ContrastNER:Few-shot NERのためのコントラストベースのプロンプトチューニング
• Authors: Amirhossein Layegh, Amir H. Payberah, Ahmet Soylu, Dumitru Roman, Mihhail Matskin
• Abstract要約: 本稿では、離散トークンと連続トークンの両方をプロンプトに用い、コントラストNERというプロンプトベースのNERフレームワークを提案し、コントラスト学習アプローチを用いて連続プロンプトの学習とエンティティタイプ予測を行う。 実験結果から,ContrastNERは,高リソース環境での最先端NER手法の競合性能と,低リソース環境での最先端NERモデルよりも優れた性能を示し,迅速な工学設計や言語化設計を必要としない。
• 参考スコア（独自算出の注目度）: 0.6562256987706128
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Prompt-based language models have produced encouraging results in numerous applications, including Named Entity Recognition (NER) tasks. NER aims to identify entities in a sentence and provide their types. However, the strong performance of most available NER approaches is heavily dependent on the design of discrete prompts and a verbalizer to map the model-predicted outputs to entity categories, which are complicated undertakings. To address these challenges, we present ContrastNER, a prompt-based NER framework that employs both discrete and continuous tokens in prompts and uses a contrastive learning approach to learn the continuous prompts and forecast entity types. The experimental results demonstrate that ContrastNER obtains competitive performance to the state-of-the-art NER methods in high-resource settings and outperforms the state-of-the-art models in low-resource circumstances without requiring extensive manual prompt engineering and verbalizer design.
• Abstract（参考訳）: プロンプトベースの言語モデルは、名前付きエンティティ認識(ner)タスクを含む多くのアプリケーションで奨励的な結果を生み出した。 NERは文内のエンティティを特定し、それらの型を提供することを目的としている。 しかしながら、ほとんどの利用可能なNERアプローチの強い性能は、離散的なプロンプトの設計と、モデル予測出力を複雑な作業であるエンティティカテゴリにマッピングする動詞化器に大きく依存している。 これらの課題に対処するために,我々は,プロンプトにおいて離散トークンと連続トークンの両方を使用し,コントラスト学習アプローチを用いて連続的なプロンプトを学び,エンティティタイプを予測する,プロンプトベースのnerフレームワークであるconsertnerを提案する。 実験結果から,ContrastNERは,高リソース環境での最先端NER手法の競合性能と,低リソース環境での最先端NERモデルよりも優れた性能を,手作業によるプロンプトエンジニアリングや言語化設計を必要とせずに得ることを示した。

関連論文リスト

• Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER [3.4998124138877786]
  より少ない例でモデルを指示することで、今まで見たことのないエンティティタグに対処するためのアプローチであるSLIMERを提案する。 実験は、定義とガイドラインがより良いパフォーマンス、より速く、より堅牢な学習をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-07-01T13:25:33Z)
• Mix of Experts Language Model for Named Entity Recognition [4.120505838411977]
  我々は,Mixture of Experts (MoE)に基づく頑健なNERモデルBOND-MoEを提案する。 NER予測のために単一のモデルに頼る代わりに、複数のモデルをトレーニングし、期待-最大化フレームワークでアンサンブルする。 実世界のデータセットを用いた実験により,提案手法は,他の遠隔教師付きNERと比較して最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-04-30T01:41:03Z)
• ToNER: Type-oriented Named Entity Recognition with Generative Language Model [14.11486479935094]
  生成モデルに基づく新しいNERフレームワーク、すなわちToNERを提案する。 ToNERでは、文中に最も現れる可能性が最も高いエンティティタイプを特定するために、最初は型マッチングモデルが提案されている。 我々は、生成モデルのエンコーダを微調整するために、複数のバイナリ分類タスクを追加し、入力文の洗練された表現を生成する。
  論文  参考訳（メタデータ） (2024-04-14T05:13:37Z)
• SCANNER: Knowledge-Enhanced Approach for Robust Multi-modal Named Entity Recognition of Unseen Entities [10.193908215351497]
  3つのNER変種を効果的に扱えるモデルであるSCANNERを提案する。 SCANNERは2段階構造であり、最初の段階でエンティティ候補を抽出し、知識を得るためにクエリとして使用する。 NERデータセットのノイズの多いアノテーションから生じる課題に対処するために,新しい自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-04-02T13:05:41Z)
• In-Context Learning for Few-Shot Nested Named Entity Recognition [53.55310639969833]
  数発のネストネストNERの設定に有効で革新的なICLフレームワークを導入する。 我々は、新しい実演選択機構であるEnDe retrieverを考案し、ICLプロンプトを改善する。 EnDe検索では,意味的類似性,境界類似性,ラベル類似性という3種類の表現学習を行うために,コントラスト学習を用いる。
  論文  参考訳（メタデータ） (2024-02-02T06:57:53Z)
• Named Entity Recognition via Machine Reading Comprehension: A Multi-Task Learning Approach [50.12455129619845]
  Named Entity Recognition (NER) は、テキスト内のエンティティの参照を事前に定義された型に抽出し、分類することを目的としている。 我々は,MRCベースのNERを改善するために,エンティティタイプ間のラベル依存性をマルチタスク学習フレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-09-20T03:15:05Z)
• E-NER: Evidential Deep Learning for Trustworthy Named Entity Recognition [69.87816981427858]
  ほとんどの名前付きエンティティ認識(NER)システムは、モデル不確実性を定量化する必要性を無視して、モデルパフォーマンスの改善に重点を置いている。 Evidential Deep Learning (EDL) は、最近、分類タスクの予測不確実性を明示的にモデル化するための有望な解決策として提案されている。 本稿では、従来のEDLに2つの不確実性誘導損失条件を導入し、一連の不確実性誘導訓練戦略を導入することにより、E-NERという信頼性の高いNERフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T02:36:16Z)
• PromptNER: A Prompting Method for Few-shot Named Entity Recognition via k Nearest Neighbor Search [56.81939214465558]
  本稿では,近距離探索による数発NERの新規プロンプト法であるPromptNERを提案する。 我々は、エンティティカテゴリ情報を含むプロンプトを使用してラベルのプロトタイプを構築する。 Few-NERDデータセットとCrossNERデータセットの広範な実験により,本モデルが最先端手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-05-20T15:47:59Z)
• MINER: Improving Out-of-Vocabulary Named Entity Recognition from an Information Theoretic Perspective [57.19660234992812]
  NERモデルは標準のNERベンチマークで有望な性能を達成した。 近年の研究では、従来のアプローチはエンティティ参照情報に過度に依存し、OoV(out-of-vocabulary)エンティティ認識の性能が劣っていることが示されている。 我々は、情報理論の観点からこの問題を改善するための新しいNER学習フレームワークであるMINERを提案する。
  論文  参考訳（メタデータ） (2022-04-09T05:18:20Z)
• Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training [66.80558875393565]
  遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。 本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。 提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-09-10T17:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。