論文の概要: Fighting Against the Repetitive Training and Sample Dependency Problem in Few-shot Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2406.05460v2
• Date: Tue, 18 Jun 2024 23:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 01:36:36.250804
• Title: Fighting Against the Repetitive Training and Sample Dependency Problem in Few-shot Named Entity Recognition
• Title（参考訳）: ファウショット型エンティティ認識における反復訓練とサンプル依存問題への対処
• Authors: Chang Tian, Wenpeng Yin, Dan Li, Marie-Francine Moens,
• Abstract要約: 名前付きエンティティ認識(NER)システムは、いくつかのラベル付きトレーニング例を使用してエンティティを認識する。 現在のスパン検出器は、ガイドトレーニングのための広範囲な手動ラベリングに依存している。 オープンドメインのウィキペディアデータに基づいて事前トレーニングした足場スパン検出器を導入する。 大型言語モデル(LLM)を利用して、信頼性の高いエンティティ型参照をセットし、各タイプの少数ショットサンプルへの依存をなくす。
• 参考スコア（独自算出の注目度）: 29.969268584918105
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot named entity recognition (NER) systems recognize entities using a few labeled training examples. The general pipeline consists of a span detector to identify entity spans in text and an entity-type classifier to assign types to entities. Current span detectors rely on extensive manual labeling to guide training. Almost every span detector requires initial training on basic span features followed by adaptation to task-specific features. This process leads to repetitive training of the basic span features among span detectors. Additionally, metric-based entity-type classifiers, such as prototypical networks, typically employ a specific metric that gauges the distance between the query sample and entity-type referents, ultimately assigning the most probable entity type to the query sample. However, these classifiers encounter the sample dependency problem, primarily stemming from the limited samples available for each entity-type referent. To address these challenges, we proposed an improved few-shot NER pipeline. First, we introduce a steppingstone span detector that is pre-trained on open-domain Wikipedia data. It can be used to initialize the pipeline span detector to reduce the repetitive training of basic features. Second, we leverage a large language model (LLM) to set reliable entity-type referents, eliminating reliance on few-shot samples of each type. Our model exhibits superior performance with fewer training steps and human-labeled data compared with baselines, as demonstrated through extensive experiments on various datasets. Particularly in fine-grained few-shot NER settings, our model outperforms strong baselines, including ChatGPT. We will publicly release the code, datasets, LLM outputs, and model checkpoints.
• Abstract（参考訳）: 名前付きエンティティ認識(NER)システムは、いくつかのラベル付きトレーニング例を使用してエンティティを認識する。 一般的なパイプラインは、テキスト内のエンティティスパンを特定するスパン検出器と、エンティティに型を割り当てるエンティティタイプ分類器で構成される。 現在のスパン検出器は、ガイドトレーニングのための広範囲な手動ラベリングに依存している。 ほぼ全てのスパン検出器は、基本的なスパンの特徴の初期訓練とタスク固有の特徴への適応を必要とする。 このプロセスは、スパン検出器間の基本的なスパンの特徴を反復的に訓練する。 さらに、原型ネットワークのようなメートル法に基づくエンティティタイプ分類器は、通常、クエリサンプルとエンティティタイプ参照の間の距離を計測する特定のメトリックを使用し、最終的に最も確率の高いエンティティタイプをクエリサンプルに割り当てる。 しかし、これらの分類器は、主に各エンティティタイプ参照で利用可能な限られたサンプルから生じる、サンプル依存問題に遭遇する。 これらの課題に対処するため、我々は改良された数発のNERパイプラインを提案した。 まず,オープンドメインのウィキペディアデータに基づいて事前学習した足場スパン検出器を提案する。 パイプラインスパン検出器を初期化して基本的な特徴の反復的な訓練を減らすために使用できる。 次に,大型言語モデル(LLM)を用いて信頼性の高いエンティティ型参照を設定する。 本モデルでは, 各種データセットの広範囲な実験により, ベースラインと比較して, トレーニングステップが少なく, 人によるラベル付きデータよりも優れた性能を示す。 特に微妙なNER設定では、ChatGPTなどの強力なベースラインよりも優れています。 コード、データセット、LCM出力、モデルチェックポイントを公開します。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Language-aware Multiple Datasets Detection Pretraining for DETRs [4.939595148195813]
  本稿では,METR と呼ばれる DETR 型検出器の事前学習に複数のデータセットを利用するためのフレームワークを提案する。 事前訓練された言語モデルを導入することにより、オブジェクト検出の典型的なマルチクラス化をバイナリ分類に変換する。 マルチタスク・ジョイントトレーニングとプレトレイン・ファネチューン・パラダイムのいずれにおいても,METRは異常な結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-04-07T10:34:04Z)
• Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
  解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。 我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
  論文  参考訳（メタデータ） (2022-11-15T15:58:56Z)
• Meta-learning Pathologies from Radiology Reports using Variance Aware Prototypical Networks [3.464871689508835]
  本稿では,数ショットのテキスト分類のためのプロトタイプネットワークの簡易拡張を提案する。 我々の主な考えは、クラスプロトタイプをガウスに置き換え、サンプルを適切なクラスセントロイドの近くでクラスタ化することを奨励する正規化項を導入することである。
  論文  参考訳（メタデータ） (2022-10-22T05:22:29Z)
• Decomposed Meta-Learning for Few-Shot Named Entity Recognition [32.515795881027074]
  NER (Few-shot named entity recognition) システムは、いくつかのラベル付き例に基づいて、新しい名前付きエンティティを認識することを目的としている。 本稿ではメタラーニングを用いた数発のスパン検出と数発のエンティティタイピングに取り組むメタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-04-12T12:46:23Z)
• Simple multi-dataset detection [83.9604523643406]
  複数の大規模データセット上で統合検出器を訓練する簡単な方法を提案する。 データセット固有のアウトプットを共通の意味分類に自動的に統合する方法を示す。 私たちのアプローチは手動の分類学の調整を必要としません。
  論文  参考訳（メタデータ） (2021-02-25T18:55:58Z)
• Adaptive Prototypical Networks with Label Words and Joint Representation Learning for Few-Shot Relation Classification [17.237331828747006]
  本研究は,少ショット関係分類(FSRC)に焦点を当てる。 クラスプロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。 FewRelでは、異なる数ショット(FS)設定で実験が行われた。
  論文  参考訳（メタデータ） (2021-01-10T11:25:42Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)
• Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification [91.67977602992657]
  本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。 このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
  論文  参考訳（メタデータ） (2020-03-20T15:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。