論文の概要: Enhancing Few-shot NER with Prompt Ordering based Data Augmentation

• arxiv url: http://arxiv.org/abs/2305.11791v1
• Date: Fri, 19 May 2023 16:25:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 13:29:18.154543
• Title: Enhancing Few-shot NER with Prompt Ordering based Data Augmentation
• Title（参考訳）: Prompt Ordering に基づくデータ拡張によるFew-shot NERの強化
• Authors: Huiming Wang, Liying Cheng, Wenxuan Zhang, De Wen Soh, Lidong Bing
• Abstract要約: 本稿では,PODA(Prompt Ordering Based Data Augmentation)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 59.69108119752584
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, data augmentation (DA) methods have been proven to be effective for pre-trained language models (PLMs) in low-resource settings, including few-shot named entity recognition (NER). However, conventional NER DA methods are mostly aimed at sequence labeling models, i.e., token-level classification, and few are compatible with unified autoregressive generation frameworks, which can handle a wider range of NER tasks, such as nested NER. Furthermore, these generation frameworks have a strong assumption that the entities will appear in the target sequence with the same left-to-right order as the source sequence. In this paper, we claim that there is no need to keep this strict order, and more diversified but reasonable target entity sequences can be provided during the training stage as a novel DA method. Nevertheless, a naive mixture of augmented data can confuse the model since one source sequence will then be paired with different target sequences. Therefore, we propose a simple but effective Prompt Ordering based Data Augmentation (PODA) method to improve the training of unified autoregressive generation frameworks under few-shot NER scenarios. Experimental results on three public NER datasets and further analyses demonstrate the effectiveness of our approach.
• Abstract（参考訳）: 近年,データ拡張 (da) 手法が低リソース環境における事前学習型言語モデル (plm) に有効であることが実証されている。 しかし、従来のNER DA法は主にシーケンシャルラベリングモデル、すなわちトークンレベルの分類を目的としており、ネストされたNERのような幅広いNERタスクを処理できる統一された自己回帰生成フレームワークと互換性があるものはほとんどない。 さらに、これらの生成フレームワークは、エンティティがソースシーケンスと同じ左から右への順序でターゲットシーケンスに現れるという強い仮定を持っている。 本稿では,この厳密な秩序を維持する必要はなく,新しいda法として,訓練段階においてより多様化した,合理的な対象エンティティシーケンスが提供できると主張する。 それでも、1つのソースシーケンスが異なるターゲットシーケンスとペアリングされるため、拡張データの単純な混合はモデルを混乱させる可能性がある。 そこで本研究では,数ショットのNERシナリオ下での統一自己回帰生成フレームワークのトレーニングを改善するため,シンプルだが効果的なPrompt Ordering based Data Augmentation(PODA)手法を提案する。 3つのパブリックNERデータセットの実験結果とさらなる分析により,本手法の有効性が示された。

関連論文リスト

• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Sequential Ensembling for Semantic Segmentation [4.030520171276982]
  我々は、複数の独立に訓練された最先端モデルの予測を組み合わせる一般的なアンサンブルアプローチをベンチマークする。 そこで本研究では,素なアンサンブルベースラインを大幅に上回る,逐次アンサンブルネットワークの強化にインスパイアされた新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-10-08T22:13:59Z)
• Formulating Few-shot Fine-tuning Towards Language Model Pre-training: A Pilot Study on Named Entity Recognition [32.92597650149752]
  NER, FFF-NER のための新しいファインチューニングフレームワークを提案する。 具体的には,3種類のトークン,"is-entity","which-type","bracket"を導入し,NERの微調整を(仮に)トークンの予測や生成として定式化することができる。 我々は、シーケンスラベリング、プロトタイプメタラーニング、プロンプトベースアプローチなど、既存の微調整戦略に対する大幅な改善を観察する。
  論文  参考訳（メタデータ） (2022-05-24T05:36:13Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• An EM Approach to Non-autoregressive Conditional Sequence Generation [49.11858479436565]
  自己回帰(AR)モデルは条件付きシーケンス生成において支配的なアプローチである。 非自己回帰(NAR)モデルは、最近、すべての出力トークンを並列に生成することでレイテンシを低減するために提案されている。 本稿では,ARモデルとNARモデルの両方を統合期待最大化フレームワークで協調的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-29T20:58:57Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。