論文の概要: Prompt-Based Metric Learning for Few-Shot NER
- arxiv url: http://arxiv.org/abs/2211.04337v1
- Date: Tue, 8 Nov 2022 15:59:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 16:09:49.507621
- Title: Prompt-Based Metric Learning for Few-Shot NER
- Title（参考訳）: マイトショットナーのためのプロンプトベースメトリック学習
- Authors: Yanru Chen, Yanan Zheng, Zhilin Yang
- Abstract要約: NER (Few-shot named entity recognition) は、ラベルなしのラベルやドメインへの一般化を目標とし、ラベル付き例は少ない。
既存のメトリック学習手法は、クエリとサポートセット間のトークンレベルの類似性を計算するが、ラベルセマンティクスを完全にモデリングに組み込むことはできない。
1)複数のプロンプトスキーマをラベルセマンティクスの強化のために設計し、2)複数のプロンプトベース表現を効果的に組み合わせた新しいアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 21.447699899397115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot named entity recognition (NER) targets generalizing to unseen labels
and/or domains with few labeled examples. Existing metric learning methods
compute token-level similarities between query and support sets, but are not
able to fully incorporate label semantics into modeling. To address this issue,
we propose a simple method to largely improve metric learning for NER: 1)
multiple prompt schemas are designed to enhance label semantics; 2) we propose
a novel architecture to effectively combine multiple prompt-based
representations. Empirically, our method achieves new state-of-the-art (SOTA)
results under 16 of the 18 considered settings, substantially outperforming the
previous SOTA by an average of 8.84% and a maximum of 34.51% in relative gains
of micro F1. Our code is available at https://github.com/AChen-qaq/ProML.
- Abstract（参考訳）: NER (Few-shot named entity recognition) は、ラベルなしのラベルやドメインへの一般化を目標としている。
既存のメトリック学習手法はクエリとサポートセット間のトークンレベルの類似度を計算するが、ラベルセマンティクスをモデリングに完全に組み込むことはできない。
この問題に対処するために,NERの計量学習を大幅に改善する簡単な手法を提案する。
1) 複数のプロンプトスキーマはラベルセマンティクスを強化するように設計されている。
2)複数のプロンプトベース表現を効果的に組み合わせた新しいアーキテクチャを提案する。
実験では,18項目中16項目以下で新たなsota(state-of-the-art)結果が得られ,平均8.84%,最大34.51%のマイクロf1値が得られた。
私たちのコードはhttps://github.com/AChen-qaq/ProMLで利用可能です。
関連論文リスト
- A Unified Label-Aware Contrastive Learning Framework for Few-Shot Named Entity Recognition [6.468625143772815]
ラベル認識型トークンレベルのコントラスト学習フレームワークを提案する。
提案手法は,ラベルのセマンティクスを接尾辞のプロンプトとして活用することでコンテキストを豊かにする。
コンテキストネイティブとコンテキストラベルの対比学習目標を同時に最適化する。
論文 参考訳（メタデータ） (2024-04-26T06:19:21Z) - Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳（メタデータ） (2024-03-24T12:41:58Z) - PromptNER: Prompting For Named Entity Recognition [27.501500279749475]
本稿では,少数ショットとクロスドメインNERのための最先端アルゴリズムであるPromptNERを紹介する。
PromptNERは、ConLLデータセットのF1スコアの4%(絶対)改善、GENIAデータセットの9%(絶対)改善、FewNERDデータセットの4%(絶対)改善を実現している。
論文 参考訳（メタデータ） (2023-05-24T07:38:24Z) - Automated Few-shot Classification with Instruction-Finetuned Language
Models [76.69064714392165]
我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。
AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
論文 参考訳（メタデータ） (2023-05-21T21:50:27Z) - PromptNER: A Prompting Method for Few-shot Named Entity Recognition via
k Nearest Neighbor Search [56.81939214465558]
本稿では,近距離探索による数発NERの新規プロンプト法であるPromptNERを提案する。
我々は、エンティティカテゴリ情報を含むプロンプトを使用してラベルのプロトタイプを構築する。
Few-NERDデータセットとCrossNERデータセットの広範な実験により,本モデルが最先端手法よりも優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-05-20T15:47:59Z) - Exploring Structured Semantic Prior for Multi Label Recognition with
Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。
最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。
我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文 参考訳（メタデータ） (2023-03-23T12:39:20Z) - Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。
エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。
これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
論文 参考訳（メタデータ） (2023-03-20T12:44:11Z) - M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。
これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。
提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
論文 参考訳（メタデータ） (2023-03-09T09:05:47Z) - Template-Based Named Entity Recognition Using BART [20.330819636161074]
シーケンス・ツー・シーケンス・フレームワークにおいて,NERを言語モデルランキング問題として扱うテンプレートベースのNER法を提案する。
提案手法は,CoNLL03において92.55%のF1スコアを達成し,微調整したBERT10.88%,15.34%,11.73%のF1スコアをMIT Movie,MIT Restaurant,ATISで達成した。
論文 参考訳（メタデータ） (2021-06-03T11:29:43Z) - How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。
我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。
この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
論文 参考訳（メタデータ） (2021-05-05T17:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。