論文の概要: LightNER: A Lightweight Generative Framework with Prompt-guided Attention for Low-resource NER

• arxiv url: http://arxiv.org/abs/2109.00720v1
• Date: Tue, 31 Aug 2021 15:01:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-03 13:56:10.043952
• Title: LightNER: A Lightweight Generative Framework with Prompt-guided Attention for Low-resource NER
• Title（参考訳）: LightNER: 低リソースNERのためのプロンプト誘導アテンションを備えた軽量生成フレームワーク
• Authors: Xiang Chen, Ningyu Zhang, Lei Li, Xin Xie, Shumin Deng, Chuanqi Tan, Fei Huang, Luo Si, Huajun Chen
• Abstract要約: 低リソース言語やドメインのNERは、不十分なトレーニングデータに悩まされている。 低リソースNERに即時注意を向けた軽量な生成フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 41.05151893955104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: NER in low-resource languages or domains suffers from inadequate training data. Existing transfer learning approaches for low-resource NER usually have the challenge that the target domain has different label sets compared with a resource-rich source domain, which can be concluded as class transfer and domain transfer problems. In this paper, we propose a lightweight generative framework with prompt-guided attention for low-resource NER (LightNER) to address these issues. Concretely, instead of tackling the problem by training label-specific discriminative classifiers, we convert sequence labeling to generate the entity pointer index sequence and entity categories without any label-specific classifiers, which can address the class transfer issue. We further propose prompt-guided attention by incorporating continuous prompts into the self-attention layer to re-modulate the attention and adapt pre-trained weights. Note that we only tune those continuous prompts with the whole parameter of the pre-trained language model fixed, thus, making our approach lightweight and flexible for low-resource scenarios and can better transfer knowledge across domains. Experimental results show that by tuning only 0.16% of the parameters, LightNER can obtain comparable performance in the standard setting and outperform standard sequence labeling and prototype-based methods in low-resource settings.
• Abstract（参考訳）: 低リソース言語やドメインのnerは、不適切なトレーニングデータに苦しむ。 低リソースのNERに対する既存の転送学習アプローチは、通常、ターゲットドメインがリソース豊富なソースドメインと比較して異なるラベルセットを持つという課題を、クラス転送やドメイン転送問題と結論付けることができる。 本稿では,この問題に対処するために,低リソースのner (lightner) に着目した軽量な生成フレームワークを提案する。 具体的には、ラベル固有の識別分類器を訓練する代わりに、シーケンスラベリングを変換して、ラベル固有の分類器を使わずにエンティティポインタインデックスシーケンスとエンティティカテゴリを生成し、クラス転送問題に対処する。 さらに、自己注意層に連続的なプロンプトを組み込んで注意を調整し、事前訓練した重みを適応させることにより、プロンプト誘導注意を提案する。 事前訓練された言語モデルのパラメータ全体を固定した連続的なプロンプトをチューニングするだけで、低リソースのシナリオに対して私たちのアプローチを軽量かつ柔軟にし、ドメイン間の知識の伝達を改善できることに注意してください。 実験の結果、パラメータの0.16%のみをチューニングすることで、lightnerは標準のシーケンスラベリングとプロトタイプベースのメソッドよりも低いリソース設定で同等の性能を得ることができることがわかった。

関連論文リスト

• Gen-Z: Generative Zero-Shot Text Classification with Contextualized Label Descriptions [50.92702206798324]
  ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。 GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。 データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T07:12:57Z)
• Improving a Named Entity Recognizer Trained on Noisy Data with a Few Clean Instances [55.37242480995541]
  クリーンなインスタンスの小さなセットから,ノイズの多いNERデータを誘導することで,ノイズを発生させる手法を提案する。 メインのNERモデルとともに、判別器モデルをトレーニングし、その出力を使用してサンプルの重み付けを校正します。 クラウドソーシングと遠隔監視データセットの結果から,提案手法は少ないガイダンスセットで継続的に性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-10-25T17:23:37Z)
• Prompt Tuned Embedding Classification for Multi-Label Industry Sector Allocation [2.024620791810963]
  本研究では,マルチラベルテキスト分類のためのPrompt Tuningとベースラインの性能をベンチマークする。 企業を投資会社の独自産業分類に分類するために適用される。 このモデルのパフォーマンスは、よく知られた企業とあまり知られていない企業の両方で一貫していることを確認します。
  論文  参考訳（メタデータ） (2023-09-21T13:45:32Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Creating Training Sets via Weak Indirect Supervision [66.77795318313372]
  Weak Supervision (WS)フレームワークは、複数の潜在的にノイズの多い監督ソースからトレーニングラベルを合成する。 Weak Indirect Supervision (WIS) は、トレーニングラベルの自動合成のための新しい研究課題である。 我々は,ユーザが提供するラベル関係を利用して間接的な監督源をモデル化し活用する確率論的モデリング手法PLRMを開発した。
  論文  参考訳（メタデータ） (2021-10-07T14:09:35Z)
• Detecting Bias in Transfer Learning Approaches for Text Classification [3.968023038444605]
  教師付き学習環境では、ラベルは常に分類タスクに必要である。 本研究では,不均衡なクラスのバイアスを検出するために,既存の移動学習手法の評価を行う。
  論文  参考訳（メタデータ） (2021-02-03T15:48:21Z)
• Domain Adaptation with Auxiliary Target Domain-Oriented Classifier [115.39091109079622]
  ドメイン適応は、知識をラベルリッチだが異質なドメインからラベルケアドメインに転送することを目的としている。 最も一般的なSSLテクニックの1つは、ラベルのない各データに擬似ラベルを割り当てる擬似ラベル付けである。 我々はAuxiliary Target Domain-Oriented (ATDOC) と呼ばれる新しい擬似ラベリングフレームワークを提案する。 ATDOCは、ターゲットデータのみのための補助分類器を導入してバイアスを軽減し、擬似ラベルの品質を向上させる。
  論文  参考訳（メタデータ） (2020-07-08T15:01:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。