論文の概要: Label Agnostic Pre-training for Zero-shot Text Classification
- arxiv url: http://arxiv.org/abs/2305.16521v1
- Date: Thu, 25 May 2023 22:55:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 17:47:15.380265
- Title: Label Agnostic Pre-training for Zero-shot Text Classification
- Title（参考訳）: ゼロショットテキスト分類のためのラベル非依存事前学習
- Authors: Christopher Clarke, Yuzhao Heng, Yiping Kang, Krisztian Flautner,
Lingjia Tang and Jason Mars
- Abstract要約: 現実世界の応用では、与えられたテキストを記述するための無限ラベル空間が存在する。
我々は2つの新しいシンプルで効果的な事前学習戦略、ImplicitとExplicitの事前学習を導入する。
これらのメソッドは、タスクレベルの理解を構築するためにモデルを条件付けすることを目的として、列車時のモデルにアスペクトレベルの理解を注入します。
- 参考スコア（独自算出の注目度）: 4.9081735096855565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conventional approaches to text classification typically assume the existence
of a fixed set of predefined labels to which a given text can be classified.
However, in real-world applications, there exists an infinite label space for
describing a given text. In addition, depending on the aspect (sentiment,
topic, etc.) and domain of the text (finance, legal, etc.), the interpretation
of the label can vary greatly. This makes the task of text classification,
particularly in the zero-shot scenario, extremely challenging. In this paper,
we investigate the task of zero-shot text classification with the aim of
improving the ability of pre-trained language models (PLMs) to generalize to
both seen and unseen data across varying aspects and domains. To solve this we
introduce two new simple yet effective pre-training strategies, Implicit and
Explicit pre-training. These methods inject aspect-level understanding into the
model at train time with the goal of conditioning the model to build task-level
understanding. To evaluate this, we construct and release UTCD, a new benchmark
dataset for evaluating text classification in zero-shot settings. Experimental
results on UTCD show that our approach achieves improved zero-shot
generalization on a suite of challenging datasets across an array of zero-shot
formalizations.
- Abstract（参考訳）: 従来のテキスト分類のアプローチでは、通常、所定のテキストを分類できる予め定義されたラベルの固定セットの存在を仮定している。
しかし、現実世界の応用では、与えられたテキストを記述するための無限ラベル空間が存在する。
また、テキストのアスペクト(強調、話題等)やドメイン(財務、法律等)によって、ラベルの解釈は大きく異なる。
これはテキスト分類、特にゼロショットシナリオのタスクを非常に困難にしている。
本稿では,事前学習された言語モデル(PLM)を,様々な側面や領域にまたがって,目に見えないデータに一般化する能力の向上を目的として,ゼロショットテキスト分類の課題について検討する。
これを解決するために、ImplicitとExplicitの2つの新しい簡易かつ効果的な事前学習戦略を導入する。
これらのメソッドは、タスクレベルの理解を構築するためにモデルを条件付けすることを目的として、列車時のモデルにアスペクトレベルの理解を注入します。
これを評価するために、ゼロショット設定でテキスト分類を評価するための新しいベンチマークデータセットUTCDを構築し、リリースする。
UTCDによる実験結果から,ゼロショット形式化の配列にまたがる難解なデータセットの集合に対するゼロショット一般化の改善が得られた。
関連論文リスト
- A Fixed-Point Approach to Unified Prompt-Based Counting [51.20608895374113]
本研究の目的は,ボックス,ポイント,テキストなど,さまざまなプロンプト型で示されるオブジェクトの密度マップを生成することができる包括的プロンプトベースのカウントフレームワークを確立することである。
本モデルは,クラスに依存しない顕著なデータセットに優れ,データセット間の適応タスクにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2024-03-15T12:05:44Z) - Gen-Z: Generative Zero-Shot Text Classification with Contextualized
Label Descriptions [50.92702206798324]
ゼロショットテキスト分類のための生成的プロンプトフレームワークを提案する。
GEN-Zはラベルの自然言語記述に基づく入力テキストのLM可能性を測定する。
データソースの文脈化によるゼロショット分類は、ゼロショットベースラインと少数ショットベースラインの両方を一貫して上回っていることを示す。
論文 参考訳（メタデータ） (2023-11-13T07:12:57Z) - TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。
TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。
分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文 参考訳（メタデータ） (2023-06-06T03:37:41Z) - PESCO: Prompt-enhanced Self Contrastive Learning for Zero-shot Text
Classification [32.02762416063338]
PESCOは、ゼロショットテキスト分類の性能を大幅に向上させる、対照的な学習フレームワークである。
PESCOは4つのベンチマークテキスト分類データセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-05-24T09:57:06Z) - Zero-Shot Text Classification via Self-Supervised Tuning [46.9902502503747]
ゼロショットテキスト分類タスクを解決するための自己教師付き学習に基づく新しいパラダイムを提案する。
自己教師付きチューニングという,ラベルのないデータで言語モデルをチューニングする。
我々のモデルは10タスク中7タスクで最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-05-19T05:47:33Z) - Like a Good Nearest Neighbor: Practical Content Moderation and Text
Classification [66.02091763340094]
LaGoNN(Good Nearest Neighbor)は、学習可能なパラメータを導入することなく、隣人の情報で入力テキストを変更するSetFitの変更である。
LaGoNNは望ましくないコンテンツやテキスト分類のフラグ付けに有効であり、SetFitのパフォーマンスを改善する。
論文 参考訳（メタデータ） (2023-02-17T15:43:29Z) - Task-Specific Embeddings for Ante-Hoc Explainable Text Classification [6.671252951387647]
テキストのタスク固有の埋め込みを学習する学習目標を提案する。
提案する目的は,同一のクラスラベルを共有するすべてのテキストが近接しているように埋め込みを学習することである。
本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範囲な実験である。
論文 参考訳（メタデータ） (2022-11-30T19:56:25Z) - Zero-Shot Text Classification with Self-Training [8.68603153534916]
ゼロショット分類器を最も確実な予測で微調整することで、幅広いテキスト分類タスクにおいて大幅な性能向上が期待できることを示す。
自己学習は、手元にあるタスクにゼロショットモデルを適用する。
論文 参考訳（メタデータ） (2022-10-31T17:55:00Z) - Beyond prompting: Making Pre-trained Language Models Better Zero-shot
Learners by Clustering Representations [24.3378487252621]
事前学習した言語モデルの埋め込み空間にテキストをクラスタリングすることで、ゼロショットテキスト分類を改善することができることを示す。
提案手法は, 即発的なゼロショット学習よりも平均20%絶対的な改善を実現している。
論文 参考訳（メタデータ） (2022-10-29T16:01:51Z) - Label Semantic Aware Pre-training for Few-shot Text Classification [53.80908620663974]
テキスト分類システムの一般化とデータ効率を向上させるために,ラベルセマンティック・アウェア事前学習(LSAP)を提案する。
LSAPは、ラベル付き文の2次事前学習を行うことにより、ラベルセマンティクスを事前学習された生成モデル(T5)に組み込む。
論文 参考訳（メタデータ） (2022-04-14T17:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。