論文の概要: Mask-guided BERT for Few Shot Text Classification

• arxiv url: http://arxiv.org/abs/2302.10447v1
• Date: Tue, 21 Feb 2023 05:24:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 16:14:26.480204
• Title: Mask-guided BERT for Few Shot Text Classification
• Title（参考訳）: 少数のショットテキスト分類のためのマスク誘導BERT
• Authors: Wenxiong Liao, Zhengliang Liu, Haixing Dai, Zihao Wu, Yiyang Zhang, Xiaoke Huang, Yuzhong Chen, Xi Jiang, Dajiang Zhu, Tianming Liu, Sheng Li, Xiang Li, Hongmin Cai
• Abstract要約: Mask-BERTは、BERTベースのアーキテクチャが数発の学習に対処するための、シンプルでモジュール化されたフレームワークである。 中心となる考え方は、テキスト入力にマスクを選択的に適用し、無関係な情報をフィルタリングすることであり、それはモデルを差別的トークンにフォーカスするよう誘導する。 パブリックドメインベンチマークデータセットの実験結果は、Mask-BERTの有効性を示す。
• 参考スコア（独自算出の注目度）: 12.361032727044547
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based language models have achieved significant success in various domains. However, the data-intensive nature of the transformer architecture requires much labeled data, which is challenging in low-resource scenarios (i.e., few-shot learning (FSL)). The main challenge of FSL is the difficulty of training robust models on small amounts of samples, which frequently leads to overfitting. Here we present Mask-BERT, a simple and modular framework to help BERT-based architectures tackle FSL. The proposed approach fundamentally differs from existing FSL strategies such as prompt tuning and meta-learning. The core idea is to selectively apply masks on text inputs and filter out irrelevant information, which guides the model to focus on discriminative tokens that influence prediction results. In addition, to make the text representations from different categories more separable and the text representations from the same category more compact, we introduce a contrastive learning loss function. Experimental results on public-domain benchmark datasets demonstrate the effectiveness of Mask-BERT.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルは様々な領域で大きな成功を収めている。 しかし、トランスフォーマーアーキテクチャのデータ集約性はラベル付きデータを必要とするため、低リソースのシナリオ(FSL)では困難である。 FSLの主な課題は、少量のサンプルで堅牢なモデルをトレーニングすることの難しさである。 ここでは、BERTベースのアーキテクチャがFSLに取り組むのを支援する、シンプルでモジュール化されたフレームワークであるMask-BERTを紹介する。 提案手法は,プロンプトチューニングやメタラーニングといった既存のFSL戦略と根本的に異なる。 中心となる考え方は、テキスト入力にマスクを選択的に適用し、無関係な情報をフィルタリングすることであり、予測結果に影響を与える差別的トークンに焦点を当てるようモデルに誘導する。 さらに,異なるカテゴリのテキスト表現をより分離し,同じカテゴリのテキスト表現をよりコンパクトにするために,対照的な学習損失関数を導入する。 パブリックドメインベンチマークデータセットの実験結果は、Mask-BERTの有効性を示す。

関連論文リスト

• KNN Transformer with Pyramid Prompts for Few-Shot Learning [52.735070934075736]
  Few-Shot Learningはラベル付きデータで新しいクラスを認識することを目的としている。 近年の研究では、視覚的特徴を調節するためのテキストプロンプトを用いたまれなサンプルの課題に対処しようと試みている。
  論文  参考訳（メタデータ） (2024-10-14T07:39:30Z)
• Adaptable and Reliable Text Classification using Large Language Models [7.962669028039958]
  本稿では,Large Language Models(LLMs)を活用した適応的で信頼性の高いテキスト分類パラダイムを提案する。 我々は、4つの多様なデータセット上で、複数のLLM、機械学習アルゴリズム、ニューラルネットワークベースのアーキテクチャの性能を評価した。 システムの性能は、少数ショットや微調整の戦略によってさらに向上することができる。
  論文  参考訳（メタデータ） (2024-05-17T04:05:05Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Masked and Permuted Implicit Context Learning for Scene Text Recognition [8.742571493814326]
  シーン認識(STR)は、テキストスタイル、形状、背景の変化のため困難である。 単一のデコーダ内において、STRのためのマスク付き暗黙的文脈学習ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:31:02Z)
• Distinguishability Calibration to In-Context Learning [31.375797763897104]
  そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。 また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
  論文  参考訳（メタデータ） (2023-02-13T09:15:00Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• MGIMN: Multi-Grained Interactive Matching Network for Few-shot Text Classification [9.9875634964736]
  テキスト分類は、クラスごとにラベル付きテキストインスタンスがほとんどない、目に見えないクラスに一般化するのに苦労する。 本稿では,メタラーニングに基づくMGIMNを提案する。
  論文  参考訳（メタデータ） (2022-04-11T08:58:55Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
  メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。 本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2021-08-09T14:07:46Z)
• TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification [50.358839666165764]
  本稿では,タスク適応機能サブスペース学習(TAFSSL)により,Few-Shot Learningシナリオの性能を大幅に向上させることができることを示す。 具体的には、挑戦的な miniImageNet と tieredImageNet ベンチマークにおいて、TAFSSL はトランスダクティブおよび半教師付き FSL 設定の両方で現在の状態を改善することができることを示しています。
  論文  参考訳（メタデータ） (2020-03-14T16:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。