論文の概要: Label-Aware Automatic Verbalizer for Few-Shot Text Classification

• arxiv url: http://arxiv.org/abs/2310.12778v1
• Date: Thu, 19 Oct 2023 14:30:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 14:53:44.681781
• Title: Label-Aware Automatic Verbalizer for Few-Shot Text Classification
• Title（参考訳）: 限定的テキスト分類のためのラベル認識自動動詞化
• Authors: Thanakorn Thaminkaew, Piyawat Lertvittayakumjorn, Peerapon Vateekul
• Abstract要約: 動詞化子は、言語モデルから出力を予測クラスに変換する。 ラベル認識自動バーバリザ (LAAV) を提案する。 5つの言語にまたがる5つのデータセットの実験結果から、LAAVが既存の動詞を著しく上回ることが示された。
• 参考スコア（独自算出の注目度）: 5.301181358292719
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt-based learning has shown its effectiveness in few-shot text classification. One important factor in its success is a verbalizer, which translates output from a language model into a predicted class. Notably, the simplest and widely acknowledged verbalizer employs manual labels to represent the classes. However, manual selection does not guarantee the optimality of the selected words when conditioned on the chosen language model. Therefore, we propose Label-Aware Automatic Verbalizer (LAAV), effectively augmenting the manual labels to achieve better few-shot classification results. Specifically, we use the manual labels along with the conjunction "and" to induce the model to generate more effective words for the verbalizer. The experimental results on five datasets across five languages demonstrate that LAAV significantly outperforms existing verbalizers. Furthermore, our analysis reveals that LAAV suggests more relevant words compared to similar approaches, especially in mid-to-low resource languages.
• Abstract（参考訳）: プロンプトに基づく学習は、数発のテキスト分類においてその効果を示した。 その成功の重要な要因の1つは、言語モデルからの出力を予測クラスに変換する動詞化である。 特に、最も単純で広く認められた動詞化子は、クラスを表現するために手動ラベルを使用している。 しかし、手動選択は、選択した言語モデルに条件付けされた場合、選択した単語の最適性を保証するものではない。 そこで本研究では,手動ラベルを効果的に強化し,より優れた数発の分類結果が得られるラベル認識自動バーバリザ(LAAV)を提案する。 具体的には、マニュアルラベルと結合した "and" を用いて、より効果的な単語を生成するモデルを誘導する。 5つの言語にまたがる5つのデータセットの実験結果から、LAAVが既存の動詞を著しく上回ることが示された。 さらに, LAAVは, 特に中～低リソース言語において, 類似した手法と比較して, より関連性の高い単語を提案する。

関連論文リスト

• Leveraging Annotator Disagreement for Text Classification [3.6625157427847963]
  テキスト分類では、データセットが複数のアノテータによってアノテートされた場合でも、モデルトレーニングに1つのマジョリティラベルのみを使用するのが一般的である。 本稿では,アノテータの不一致を利用してテキスト分類を行う3つの手法を提案する。
  論文  参考訳（メタデータ） (2024-09-26T06:46:53Z)
• An Energy-based Model for Word-level AutoCompletion in Computer-aided Translation [97.3797716862478]
  Word-level AutoCompletion (WLAC) は、コンピュータ支援翻訳における報奨だが挑戦的なタスクである。 既存の作業は、入力コンテキストの隠れベクターを対応するラベルにマッピングするニューラルネットワークに基づく分類モデルを通じて、このタスクに対処する。 そこで本研究では,WLACのエネルギーモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-29T15:07:19Z)
• LanSER: Language-Model Supported Speech Emotion Recognition [25.597250907836152]
  本稿では,学習済みの大規模言語モデルを用いて弱い感情ラベルを推定することにより,ラベルなしデータの利用を可能にするLanSERを提案する。 分類学に制約された弱いラベルを推定するために、自動音声認識により抽出された音声の書き起こしに対して、最も深いスコアを持つ感情ラベルを選択するテキスト・エンタテインメント・アプローチを用いる。 実験結果から, 従来のSERデータセットのベースラインモデルでは, 精度が向上し, ラベル効率が向上した。
  論文  参考訳（メタデータ） (2023-09-07T19:21:08Z)
• Instruction-following Evaluation through Verbalizer Manipulation [64.73188776428799]
  本稿では,動詞操作と呼ばれる新しい指示追従評価プロトコルを提案する。 モデルにタスクラベルを、異なる範囲のモデル先行と整合した単語で言語化するように指示する。 異なる家族や規模にわたるモデルの指示追従能力は、より自然な話し手の性能によって著しく異なることが観察された。
  論文  参考訳（メタデータ） (2023-07-20T03:54:24Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification [57.62886091828512]
  多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
  論文  参考訳（メタデータ） (2022-11-11T03:45:59Z)
• Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer [12.596033546002321]
  本稿では,事前学習された言語モデルから知識を抽出することに集中し,プロンプト学習のためのプロトタイプなプロンプト動詞化手法を提案する。 ゼロショット設定では、知識は事前訓練された言語モデルから手動で設計され、初期プロトタイプの埋め込みを形成する。 数ショット設定では、モデルは有意義で解釈可能なプロトタイプの埋め込みを学ぶように調整される。
  論文  参考訳（メタデータ） (2022-01-14T12:04:37Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。