論文の概要: CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification

• arxiv url: http://arxiv.org/abs/2211.05987v2
• Date: Tue, 13 Feb 2024 02:51:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 20:35:13.974782
• Title: CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification
• Title（参考訳）: CCPrefix:多クラス分類のための対実的コントラスト前修正
• Authors: Yang Li, Canran Xu, Guodong Long, Tao Shen, Chongyang Tao and Jing Jiang
• Abstract要約: 多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
• 参考スコア（独自算出の注目度）: 57.62886091828512
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, prefix-tuning was proposed to efficiently adapt pre-trained language models to a broad spectrum of natural language classification tasks. It leverages soft prefix as task-specific indicators and language verbalizers as categorical-label mentions to narrow the formulation gap from pre-training language models. However, when the label space increases considerably (i.e., many-class classification), such a tuning technique suffers from a verbalizer ambiguity problem since the many-class labels are represented by semantic-similar verbalizers in short language phrases. To overcome this, inspired by the human-decision process that the most ambiguous classes would be mulled over for each instance, we propose a brand-new prefix-tuning method, Counterfactual Contrastive Prefix-tuning (CCPrefix), for many-class classification. Basically, an instance-dependent soft prefix, derived from fact-counterfactual pairs in the label space, is leveraged to complement the language verbalizers in many-class classification. We conduct experiments on many-class benchmark datasets in both the fully supervised setting and the few-shot setting, which indicates that our model outperforms former baselines.
• Abstract（参考訳）: 近年,事前学習した言語モデルを自然言語分類タスクの幅広い範囲に効率的に適応するプレフィックスチューニングが提案されている。 ソフトプレフィックスをタスク固有の指標と言語動詞化器として活用し、事前学習した言語モデルから定式化のギャップを狭める。 しかし、ラベル空間が著しく大きくなる(多クラス分類)と、このようなチューニング技術は、多クラスラベルが短い言語句で意味的類似の動詞化子で表されるため、曖昧さの問題に悩まされる。 これを克服するために、最も曖昧なクラスを各インスタンスにマージする人為的決定プロセスに着想を得て、多数のクラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。 我々は、全教師付き設定と少数ショット設定の両方において、多クラスベンチマークデータセットで実験を行い、このモデルが以前のベースラインを上回ることを示している。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• SciPrompt: Knowledge-augmented Prompting for Fine-grained Categorization of Scientific Topics [2.3742710594744105]
  SciPromptは,低リソーステキスト分類タスクに対して,科学的トピック関連用語を自動的に検索するフレームワークである。 本手法は, ほとんど, ゼロショット設定下での科学的テキスト分類作業において, 最先端, 即時的な微調整法より優れる。
  論文  参考訳（メタデータ） (2024-10-02T18:45:04Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• A Novel Prompt-tuning Method: Incorporating Scenario-specific Concepts into a Verbalizer [15.612761980503658]
  シナリオ固有の概念を取り入れたラベルワード構築プロセスを提案する。 具体的には,タスク固有のシナリオから,ラベルワード候補としてリッチな概念を抽出する。 そこで我々は,各クラスのラベル単語の集合として候補を洗練するための新しいカスケードキャリブレーションモジュールを開発した。
  論文  参考訳（メタデータ） (2024-01-10T15:02:35Z)
• Mitigating Word Bias in Zero-shot Prompt-based Classifiers [55.60306377044225]
  一致したクラス先行は、オラクルの上界性能と強く相関していることを示す。 また,NLPタスクに対するプロンプト設定において,一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2023-09-10T10:57:41Z)
• On Guiding Visual Attention with Language Specification [76.08326100891571]
  注意をそらすのではなく,タスク関連機能に分類証拠を限定するためのアドバイスとして,ハイレベルな言語仕様を用いる。 この方法で空間的注意を監督することは、偏りのあるノイズのあるデータを用いた分類タスクの性能を向上させる。
  論文  参考訳（メタデータ） (2022-02-17T22:40:19Z)
• Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer [12.596033546002321]
  本稿では,事前学習された言語モデルから知識を抽出することに集中し,プロンプト学習のためのプロトタイプなプロンプト動詞化手法を提案する。 ゼロショット設定では、知識は事前訓練された言語モデルから手動で設計され、初期プロトタイプの埋め込みを形成する。 数ショット設定では、モデルは有意義で解釈可能なプロトタイプの埋め込みを学ぶように調整される。
  論文  参考訳（メタデータ） (2022-01-14T12:04:37Z)
• Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification [68.3291372168167]
  我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。 我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。 ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-08-04T13:00:16Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。