論文の概要: Adaptive Self-training for Few-shot Neural Sequence Labeling

• arxiv url: http://arxiv.org/abs/2010.03680v2
• Date: Fri, 11 Dec 2020 17:16:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 21:42:57.202824
• Title: Adaptive Self-training for Few-shot Neural Sequence Labeling
• Title（参考訳）: Few-shot Neural Sequence Labelingのための適応型自己学習
• Authors: Yaqing Wang, Subhabrata Mukherjee, Haoda Chu, Yuancheng Tu, Ming Wu, Jing Gao, Ahmed Hassan Awadallah
• Abstract要約: ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
• 参考スコア（独自算出の注目度）: 55.43109437200101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence labeling is an important technique employed for many Natural Language Processing (NLP) tasks, such as Named Entity Recognition (NER), slot tagging for dialog systems and semantic parsing. Large-scale pre-trained language models obtain very good performance on these tasks when fine-tuned on large amounts of task-specific labeled data. However, such large-scale labeled datasets are difficult to obtain for several tasks and domains due to the high cost of human annotation as well as privacy and data access constraints for sensitive user applications. This is exacerbated for sequence labeling tasks requiring such annotations at token-level. In this work, we develop techniques to address the label scarcity challenge for neural sequence labeling models. Specifically, we develop self-training and meta-learning techniques for training neural sequence taggers with few labels. While self-training serves as an effective mechanism to learn from large amounts of unlabeled data -- meta-learning helps in adaptive sample re-weighting to mitigate error propagation from noisy pseudo-labels. Extensive experiments on six benchmark datasets including two for massive multilingual NER and four slot tagging datasets for task-oriented dialog systems demonstrate the effectiveness of our method. With only 10 labeled examples for each class for each task, our method obtains 10% improvement over state-of-the-art systems demonstrating its effectiveness for the low-resource setting.
• Abstract（参考訳）: シーケンスラベリングは、名前付きエンティティ認識(NER)、ダイアログシステムのためのスロットタグ付け、意味解析など、多くの自然言語処理(NLP)タスクに使用される重要なテクニックである。 大規模な事前学習された言語モデルは、大量のタスク固有のラベル付きデータで微調整された場合、これらのタスクで非常に優れたパフォーマンスを得る。 しかし、このような大規模ラベル付きデータセットは、人間によるアノテーションのコストが高く、機密性の高いユーザアプリケーションに対するプライバシやデータアクセスの制約があるため、いくつかのタスクやドメインでは入手が難しい。 これはトークンレベルでこのようなアノテーションを必要とするシーケンスラベリングタスクに対して悪化する。 本研究では,ニューラルシーケンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 具体的には,ラベルの少ないニューラルネットワークタグを学習するための自己学習およびメタラーニング技術を開発した。 自己学習は、大量のラベルのないデータから学習する効果的なメカニズムであるが、メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズの多い擬似ラベルからのエラー伝播を軽減するのに役立つ。 大規模多言語NERのための2つとタスク指向対話システムのための4つのスロットタグ付けデータセットを含む6つのベンチマークデータセットの大規模な実験により,本手法の有効性が示された。 提案手法は,各タスクのクラス毎に10個のラベル付き例しか持たず,低リソース設定の有効性を示す最先端システムよりも10%改善されている。

関連論文リスト

• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• Determined Multi-Label Learning via Similarity-Based Prompt [12.428779617221366]
  マルチラベル分類では、各トレーニングインスタンスは複数のクラスラベルに同時に関連付けられている。 この問題を軽減するために,textitDetermined Multi-Label Learning (DMLL) と呼ばれる新しいラベル設定を提案する。
  論文  参考訳（メタデータ） (2024-03-25T07:08:01Z)
• Maximizing Data Efficiency for Cross-Lingual TTS Adaptation by Self-Supervised Representation Mixing and Embedding Initialization [57.38123229553157]
  本稿では,テキスト音声合成システムにおける言語適応のための効果的な伝達学習フレームワークを提案する。 ラベル付きおよびラベルなしの最小データを用いて言語適応を実現することに注力する。 実験結果から,本フレームワークは,ラベル付きデータの4つの発声とラベル付きデータの15分で,未知の言語で理解不能な音声を合成できることが示唆された。
  論文  参考訳（メタデータ） (2024-01-23T21:55:34Z)
• AutoWS: Automated Weak Supervision Framework for Text Classification [1.748907524043535]
  本稿では、ドメインエキスパートへの依存を減らしつつ、弱い監督プロセスの効率を高めるための新しい枠組みを提案する。 本手法では,ラベルクラス毎にラベル付きサンプルの小さなセットが必要であり,多数のラベル付きデータにノイズ付きラベルを割り当てるラベル付き関数のセットを自動生成する。
  論文  参考訳（メタデータ） (2023-02-07T07:12:05Z)
• Learning to Detect Noisy Labels Using Model-Based Features [16.681748918518075]
  Select-Enhanced Noisy label Training (SENT)を提案する。 SENTは、データ駆動の柔軟性を保ちながら、メタ学習に依存しない。 自己学習とラベルの破損の設定の下で、強力なベースラインよりもパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2022-12-28T10:12:13Z)
• An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning [58.59343434538218]
  間接学習の観点から、ラベルなしデータの正負の擬似ラベルを正確に予測するための、単純だが非常に効果的な手法を提案する。 私たちのアプローチは、オフザシェルフ操作のみを使用することで、ほんの数行のコードで実装できます。
  論文  参考訳（メタデータ） (2022-09-28T02:11:34Z)
• ATM: An Uncertainty-aware Active Self-training Framework for Label-efficient Text Classification [13.881283744970979]
  ATMは、ラベルのないデータを活用するために自己学習を利用する新しいフレームワークであり、特定のALアルゴリズムに依存しない。 我々はATMが最強のアクティブラーニングと自己学習ベースラインを上回り、ラベル効率を平均51.9%向上させることを実証した。
  論文  参考訳（メタデータ） (2021-12-16T11:09:48Z)
• Generate, Annotate, and Learn: Generative Models Advance Self-Training and Knowledge Distillation [58.64720318755764]
  Semi-Supervised Learning (SSL)は多くのアプリケーションドメインで成功している。 知識蒸留(KD)により、深層ネットワークとアンサンブルの圧縮が可能となり、新しいタスク固有の未ラベルの例について知識を蒸留する際に最良の結果が得られる。 我々は、非条件生成モデルを用いて、ドメイン内の未ラベルデータを合成する「生成、注釈、学習(GAL)」と呼ばれる一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T05:01:24Z)
• PseudoSeg: Designing Pseudo Labels for Semantic Segmentation [78.35515004654553]
  ラベルなしまたは弱いラベル付きデータを用いたトレーニングのための構造化された擬似ラベルを生成するための擬似ラベルの再設計を提案する。 提案手法の有効性を,低データと高データの両方において示す。
  論文  参考訳（メタデータ） (2020-10-19T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。