論文の概要: PESCO: Prompt-enhanced Self Contrastive Learning for Zero-shot Text Classification

• arxiv url: http://arxiv.org/abs/2305.14963v1
• Date: Wed, 24 May 2023 09:57:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 17:23:10.446548
• Title: PESCO: Prompt-enhanced Self Contrastive Learning for Zero-shot Text Classification
• Title（参考訳）: PESCO:ゼロショットテキスト分類のためのプロンプト強化セルフコントラスト学習
• Authors: Yau-Shian Wang and Ta-Chung Chi and Ruohong Zhang and Yiming Yang
• Abstract要約: PESCOは、ゼロショットテキスト分類の性能を大幅に向上させる、対照的な学習フレームワークである。 PESCOは4つのベンチマークテキスト分類データセット上で最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 32.02762416063338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present PESCO, a novel contrastive learning framework that substantially improves the performance of zero-shot text classification. We formulate text classification as a neural text matching problem where each document is treated as a query, and the system learns the mapping from each query to the relevant class labels by (1) adding prompts to enhance label matching, and (2) using retrieved labels to enrich the training set in a self-training loop of contrastive learning. PESCO achieves state-of-the-art performance on four benchmark text classification datasets. On DBpedia, we achieve 98.5\% accuracy without any labeled data, which is close to the fully-supervised result. Extensive experiments and analyses show all the components of PESCO are necessary for improving the performance of zero-shot text classification.
• Abstract（参考訳）: ゼロショットテキスト分類の性能を大幅に向上させる新しいコントラスト学習フレームワークPESCOを提案する。 我々は,各文書を問合せとして扱うニューラルテキストマッチング問題としてテキスト分類を定式化し,(1)ラベルマッチングを強化するプロンプトの追加,(2)検索したラベルを用いて,対比学習の自己学習ループにおけるトレーニングセットを充実させることにより,各クエリから関連するクラスラベルへのマッピングを学習する。 PESCOは4つのベンチマークテキスト分類データセット上で最先端のパフォーマンスを達成する。 DBpediaでは、ラベル付きデータなしで98.5 %の精度を実現しています。 大規模な実験と分析により、ゼロショットテキスト分類の性能向上にPESCOのすべてのコンポーネントが必要であることが示された。

関連論文リスト

• Gen-Z: Generative Zero-Shot Text Classification with Contextualized Label Descriptions [50.92702206798324]
  ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。 GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。 データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T07:12:57Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Label Agnostic Pre-training for Zero-shot Text Classification [4.9081735096855565]
  現実世界の応用では、与えられたテキストを記述するための無限ラベル空間が存在する。 我々は2つの新しいシンプルで効果的な事前学習戦略、ImplicitとExplicitの事前学習を導入する。 これらのメソッドは、タスクレベルの理解を構築するためにモデルを条件付けすることを目的として、列車時のモデルにアスペクトレベルの理解を注入します。
  論文  参考訳（メタデータ） (2023-05-25T22:55:32Z)
• The Benefits of Label-Description Training for Zero-Shot Text Classification [35.27224341685012]
  事前訓練された言語モデルはゼロショットテキスト分類を改善した。 最小限の努力でゼロショット精度をさらに向上する簡単な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-03T16:19:31Z)
• Task-Specific Embeddings for Ante-Hoc Explainable Text Classification [6.671252951387647]
  テキストのタスク固有の埋め込みを学習する学習目標を提案する。 提案する目的は,同一のクラスラベルを共有するすべてのテキストが近接しているように埋め込みを学習することである。 本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範囲な実験である。
  論文  参考訳（メタデータ） (2022-11-30T19:56:25Z)
• Many-Class Text Classification with Matching [65.74328417321738]
  textbfText textbfClassification をテキストとラベル間のtextbfMatching 問題として定式化し,TCM というシンプルなフレームワークを提案する。 従来のテキスト分類手法と比較して、TCMは分類ラベルのきめ細かい意味情報を活用している。
  論文  参考訳（メタデータ） (2022-05-23T15:51:19Z)
• Label Semantic Aware Pre-training for Few-shot Text Classification [53.80908620663974]
  テキスト分類システムの一般化とデータ効率を向上させるために,ラベルセマンティック・アウェア事前学習(LSAP)を提案する。 LSAPは、ラベル付き文の2次事前学習を行うことにより、ラベルセマンティクスを事前学習された生成モデル(T5)に組み込む。
  論文  参考訳（メタデータ） (2022-04-14T17:33:34Z)
• Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks [61.23408995934415]
  テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。 具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。 実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
  論文  参考訳（メタデータ） (2021-02-23T04:14:34Z)
• Unsupervised Label Refinement Improves Dataless Text Classification [48.031421660674745]
  データレステキスト分類は、ラベル記述と組み合わせた文書にスコアを割り当てることで、文書を未確認のラベルに分類することができる。 有望ながら、それは重要なダウンストリームタスクごとにラベルセットの正確な説明に依存します。 この依存により、データレス分類器はラベル記述の選択に非常に敏感になり、実際にはデータレス分類の幅広い適用を妨げる。
  論文  参考訳（メタデータ） (2020-12-08T03:37:50Z)
• Description Based Text Classification with Reinforcement Learning [34.18824470728299]
  本稿では,各カテゴリのラベルをカテゴリ記述に関連付ける,テキスト分類のための新しいフレームワークを提案する。 我々は、幅広いテキスト分類タスクにおいて、強いベースラインよりも顕著なパフォーマンス向上を観察する。
  論文  参考訳（メタデータ） (2020-02-08T02:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。