論文の概要: Good Examples Make A Faster Learner: Simple Demonstration-based Learning for Low-resource NER

• arxiv url: http://arxiv.org/abs/2110.08454v1
• Date: Sat, 16 Oct 2021 03:24:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 15:43:32.289572
• Title: Good Examples Make A Faster Learner: Simple Demonstration-based Learning for Low-resource NER
• Title（参考訳）: 学習を高速化する良い例:低リソースNERのための単純なデモベースの学習
• Authors: Dong-Ho Lee, Mahak Agarwal, Akshen Kadakia, Jay Pujara and Xiang Ren
• Abstract要約: NERのための簡単な実演に基づく学習法を提案する。 プロンプト(学習コンテキスト)をいくつかのタスクデモで強化する。 各エンティティタイプ毎のエンティティの例を示すと、その例文とともに、ドメイン内設定とドメイン間設定の両方のパフォーマンスを1～3F1スコアで向上させることができることを実証的に見出した。
• 参考スコア（独自算出の注目度）: 36.27841358888627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in prompt-based learning have shown impressive results on few-shot text classification tasks by using cloze-style language prompts. There have been attempts on prompt-based learning for NER which use manually designed templates to predict entity types. However, these two-step methods may suffer from error propagation (from entity span detection), need to prompt for all possible text spans which is costly, and neglect the interdependency when predicting labels for different spans in a sentence. In this paper, we present a simple demonstration-based learning method for NER, which augments the prompt (learning context) with a few task demonstrations. Such demonstrations help the model learn the task better under low-resource settings and allow for span detection and classification over all tokens jointly. Here, we explore entity-oriented demonstration which selects an appropriate entity example per each entity type, and instance-oriented demonstration which retrieves a similar instance example. Through extensive experiments, we find empirically that showing entity example per each entity type, along with its example sentence, can improve the performance both in in-domain and cross-domain settings by 1-3 F1 score.
• Abstract（参考訳）: 最近のプロンプトベース学習の進歩は、clozeスタイルの言語プロンプトを用いて、数少ないテキスト分類タスクにおいて印象的な結果を示している。 エンティティタイプを予測するために手動で設計されたテンプレートを使用するnerのプロンプトベースの学習の試みがある。 しかし、これらの2段階の方法は、(エンティティスパン検出からの)エラーの伝播、コストのかかるすべての可能なテキストスパンのプロンプト、文中の異なるスパンのラベルを予測する際の相互依存性の無視などに悩まされる可能性がある。 本稿では,いくつかのタスクデモを用いてプロンプト(学習コンテキスト)を増強する,nerのための簡易なデモンストレーションベース学習手法を提案する。 このようなデモンストレーションは、低リソース設定下でのタスクの学習を支援するとともに、すべてのトークンのスパン検出と分類を共同で実現する。 本稿では,エンティティタイプ毎に適切なエンティティ例を選択するエンティティ指向デモンストレーションと,同様のインスタンス例を取得するインスタンス指向デモンストレーションについて検討する。 実験により、各エンティティタイプ毎のエンティティの例を示すと、その例文とともに、ドメイン内設定とドメイン間設定の両方のパフォーマンスを1～3F1スコアで改善できることがわかった。

関連論文リスト

• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Automated Few-shot Classification with Instruction-Finetuned Language Models [76.69064714392165]
  我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。 AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
  論文  参考訳（メタデータ） (2023-05-21T21:50:27Z)
• PromptNER: A Prompting Method for Few-shot Named Entity Recognition via k Nearest Neighbor Search [56.81939214465558]
  本稿では,近距離探索による数発NERの新規プロンプト法であるPromptNERを提案する。 我々は、エンティティカテゴリ情報を含むプロンプトを使用してラベルのプロトタイプを構築する。 Few-NERDデータセットとCrossNERデータセットの広範な実験により,本モデルが最先端手法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-05-20T15:47:59Z)
• Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration [12.334422701057674]
  In-context Learning のための近辺校正フレームワークを提案する。 インコンテキスト学習パラダイムは、トレーニングインスタンスを推論する際に誤ったラベルを生成するという現象にインスパイアされている。 テキスト分類タスクの多種多様な実験により,本手法はテキスト内学習を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2022-12-05T12:49:41Z)
• Decomposed Meta-Learning for Few-Shot Named Entity Recognition [32.515795881027074]
  NER (Few-shot named entity recognition) システムは、いくつかのラベル付き例に基づいて、新しい名前付きエンティティを認識することを目的としている。 本稿ではメタラーニングを用いた数発のスパン検出と数発のエンティティタイピングに取り組むメタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-04-12T12:46:23Z)
• MGIMN: Multi-Grained Interactive Matching Network for Few-shot Text Classification [9.9875634964736]
  テキスト分類は、クラスごとにラベル付きテキストインスタンスがほとんどない、目に見えないクラスに一般化するのに苦労する。 本稿では,メタラーニングに基づくMGIMNを提案する。
  論文  参考訳（メタデータ） (2022-04-11T08:58:55Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。