論文の概要: Discriminative Language Model as Semantic Consistency Scorer for Prompt-based Few-Shot Text Classification

• arxiv url: http://arxiv.org/abs/2210.12763v1
• Date: Sun, 23 Oct 2022 16:10:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 13:03:08.693764
• Title: Discriminative Language Model as Semantic Consistency Scorer for Prompt-based Few-Shot Text Classification
• Title（参考訳）: テキスト分類のための意味的一貫性スコアとしての識別言語モデル
• Authors: Zhipeng Xie and Yahe Li
• Abstract要約: 本稿では,テキスト分類のための新しいプロンプトベースファインタニング手法(DLM-SCS)を提案する。 根底にある考え方は、真のラベルでインスタンス化されたプロンプトは、偽ラベルを持つ他のプロンプトよりも高いセマンティック一貫性スコアを持つべきであるということである。 我々のモデルは、最先端のプロンプトベースの複数ショット法より優れています。
• 参考スコア（独自算出の注目度）: 10.685862129925727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novel prompt-based finetuning method (called DLM-SCS) for few-shot text classification by utilizing the discriminative language model ELECTRA that is pretrained to distinguish whether a token is original or generated. The underlying idea is that the prompt instantiated with the true label should have higher semantic consistency score than other prompts with false labels. Since a prompt usually consists of several components (or parts), its semantic consistency can be decomposed accordingly. The semantic consistency of each component is then computed by making use of the pretrained ELECTRA model, without introducing extra parameters. Extensive experiments have shown that our model outperforms several state-of-the-art prompt-based few-shot methods.
• Abstract（参考訳）: 本稿では,トークンがオリジナルか生成されたかを識別するために事前訓練された識別言語モデルELECTRAを用いて,数ショットテキスト分類のための新しいプロンプトベースの微調整法(DLM-SCS)を提案する。 根底にある考え方は、真のラベルでインスタンス化されたプロンプトは、偽ラベルを持つ他のプロンプトよりも高いセマンティック一貫性スコアを持つべきであるということである。 プロンプトは通常、いくつかのコンポーネント(または部品)から構成されるため、その意味的な一貫性は分解することができる。 それぞれのコンポーネントのセマンティック一貫性は、余分なパラメータを導入することなく、事前訓練されたELECTRAモデルを使用することで計算される。 広範な実験により,本モデルが最先端のプロンプトベースのマイトショット法を上回っていることが示された。

関連論文リスト

• A Fixed-Point Approach to Unified Prompt-Based Counting [51.20608895374113]
  本研究の目的は,ボックス,ポイント,テキストなど,さまざまなプロンプト型で示されるオブジェクトの密度マップを生成することができる包括的プロンプトベースのカウントフレームワークを確立することである。 本モデルは,クラスに依存しない顕著なデータセットに優れ,データセット間の適応タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:05:44Z)
• RulePrompt: Weakly Supervised Text Classification with Prompting PLMs and Self-Iterative Logical Rules [30.239044569301534]
  弱教師付きテキスト分類(WSTC)は、大量のテキストを分類できるため、注目を集めている。 本稿では,ルールマイニングモジュールとルール強化擬似ラベル生成モジュールからなるWSTCタスクに対して,ルールプロンプトというPLMベースのアプローチを提案する。 提案手法は解釈可能なカテゴリー規則を導出し,難解なカテゴリを曖昧にすることの利点を証明した。
  論文  参考訳（メタデータ） (2024-03-05T12:50:36Z)
• MProto: Multi-Prototype Network with Denoised Optimal Transport for Distantly Supervised Named Entity Recognition [75.87566793111066]
  本稿では,DS-NERタスクのためのMProtoというノイズロスのプロトタイプネットワークを提案する。 MProtoは、各エンティティタイプを複数のプロトタイプで表現し、クラス内の分散を特徴付ける。 不完全なラベリングからノイズを緩和するために,新しい復号化最適輸送(DOT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-12T13:02:34Z)
• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• CCPrefix: Counterfactual Contrastive Prefix-Tuning for Many-Class Classification [57.62886091828512]
  多クラス分類のための新しいプレフィックスチューニング手法であるCCPrefixを提案する。 基本的に、ラベル空間における実数対から派生したインスタンス依存の軟式接頭辞は、多クラス分類における言語動詞化を補完するために利用される。
  論文  参考訳（メタデータ） (2022-11-11T03:45:59Z)
• STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot Classification [5.6205035780719275]
  本稿ではSTPrompt-Semantic-GuidedおよびTask-driven Promptモデルを提案する。 提案モデルでは,テキスト分類タスクの5つの異なるデータセットにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-10-29T04:42:30Z)
• Automatic Multi-Label Prompting: Simple and Interpretable Few-Shot Classification [15.575483080819563]
  本稿では,自動マルチラベルプロンプト(AMuLaP)を提案する。 提案手法は,1対多のラベルマッピングと統計に基づくアルゴリズムを用いて,プロンプトテンプレートを付与したラベルマッピングを選択する。 実験の結果,AMuLaPは人的労力や外部リソースを使わずにGLUEベンチマーク上での競合性能を実証した。
  論文  参考訳（メタデータ） (2022-04-13T11:15:52Z)
• Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer [12.596033546002321]
  本稿では,事前学習された言語モデルから知識を抽出することに集中し,プロンプト学習のためのプロトタイプなプロンプト動詞化手法を提案する。 ゼロショット設定では、知識は事前訓練された言語モデルから手動で設計され、初期プロトタイプの埋め込みを形成する。 数ショット設定では、モデルは有意義で解釈可能なプロトタイプの埋め込みを学ぶように調整される。
  論文  参考訳（メタデータ） (2022-01-14T12:04:37Z)
• Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification [68.3291372168167]
  我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。 我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。 ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-08-04T13:00:16Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。