論文の概要: Few-Shot Named Entity Recognition: A Comprehensive Study

• arxiv url: http://arxiv.org/abs/2012.14978v1
• Date: Tue, 29 Dec 2020 23:43:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 21:19:28.933061
• Title: Few-Shot Named Entity Recognition: A Comprehensive Study
• Title（参考訳）: 少数の名前付きエンティティ認識 - 包括的研究
• Authors: Jiaxin Huang, Chunyuan Li, Krishan Subudhi, Damien Jose, Shobana Balakrishnan, Weizhu Chen, Baolin Peng, Jianfeng Gao, Jiawei Han
• Abstract要約: マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
• 参考スコア（独自算出の注目度）: 92.40991050806544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a comprehensive study to efficiently build named entity recognition (NER) systems when a small number of in-domain labeled data is available. Based upon recent Transformer-based self-supervised pre-trained language models (PLMs), we investigate three orthogonal schemes to improve the model generalization ability for few-shot settings: (1) meta-learning to construct prototypes for different entity types, (2) supervised pre-training on noisy web data to extract entity-related generic representations and (3) self-training to leverage unlabeled in-domain data. Different combinations of these schemes are also considered. We perform extensive empirical comparisons on 10 public NER datasets with various proportions of labeled data, suggesting useful insights for future research. Our experiments show that (i) in the few-shot learning setting, the proposed NER schemes significantly improve or outperform the commonly used baseline, a PLM-based linear classifier fine-tuned on domain labels; (ii) We create new state-of-the-art results on both few-shot and training-free settings compared with existing methods. We will release our code and pre-trained models for reproducible research.
• Abstract（参考訳）: 本稿では、少数のドメイン内ラベル付きデータがある場合に、名前付きエンティティ認識(ner)システムを効率的に構築するための包括的研究を行う。 近年の Transformer-based self-supervised pre-trained language model (PLMs) に基づいて,(1) 異なるエンティティタイプに対するプロトタイプ構築のためのメタラーニング,(2) ノイズの多いWebデータによる教師付き事前学習,(3) エンティティ関連ジェネリック表現の抽出,(3) 未ラベルのドメインデータを活用するための自己学習の3つの直交的手法を検討した。 これらのスキームの異なる組み合わせも考慮される。 ラベル付きデータの比率の異なる10の公開nerデータセットについて,広範な経験的比較を行い,今後の研究に有用な知見を示唆する。 実験により,提案するnerスキームは,小数点学習環境では,一般的に使用されるベースラインであるplmに基づく線形分類器を,ドメインラベルで微調整し,その性能を大幅に向上あるいは上回ることがわかった。 再現可能な研究のためのコードと事前訓練されたモデルをリリースします。

関連論文リスト

• Beyond Just Vision: A Review on Self-Supervised Representation Learning on Multimodal and Temporal Data [10.006890915441987]
  自己教師型学習の普及は、従来のモデルがトレーニングに大量の十分な注釈付きデータを必要とするという事実によって引き起こされる。 モデルの差別的事前学習を通じて、訓練データの効率を向上させるための自己指導手法が導入された。 我々は,時間的データに対するマルチモーダルな自己教師型学習手法の総合的なレビューを初めて提供することを目的とする。
  論文  参考訳（メタデータ） (2022-06-06T04:59:44Z)
• Better Modelling Out-of-Distribution Regression on Distributed Acoustic Sensor Data Using Anchored Hidden State Mixup [0.7455546102930911]
  トレーニングデータとテストデータの統計的分布が異なる状況への機械学習モデルの応用を一般化することは、複雑な問題であった。 本稿では,正規化の新たなペナルティを形成するために,多様体隠蔽状態の混合と観測類似性を利用したアンカー型回帰混合アルゴリズムを提案する。 提案手法の既存手法に対する一般化性能を広範囲に評価し,提案手法が最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-02-23T03:12:21Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification [101.1886788396803]
  人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。 残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。 本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
  論文  参考訳（メタデータ） (2021-09-12T15:51:41Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Adaptive Prototypical Networks with Label Words and Joint Representation Learning for Few-Shot Relation Classification [17.237331828747006]
  本研究は,少ショット関係分類(FSRC)に焦点を当てる。 クラスプロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。 FewRelでは、異なる数ショット(FS)設定で実験が行われた。
  論文  参考訳（メタデータ） (2021-01-10T11:25:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。