論文の概要: Evolutionary Verbalizer Search for Prompt-based Few Shot Text
Classification
- arxiv url: http://arxiv.org/abs/2306.10514v1
- Date: Sun, 18 Jun 2023 10:03:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 20:15:21.974256
- Title: Evolutionary Verbalizer Search for Prompt-based Few Shot Text
Classification
- Title（参考訳）: プロンプトに基づくFew Shotテキスト分類のための進化的バーバリザ探索
- Authors: Tongtao Ling, Lei Chen, Yutao Lai and Hai-Lin Liu
- Abstract要約: 提案手法は,提案手法を改良した新しい進化型動詞処理アルゴリズムであるEVSを提案する。
本稿では,最適な動詞処理器を自動構築することに集中し,高速な動詞処理器を用いたプロンプトベースチューニングを改善するための新しいEVSアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 5.583948835737293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances for few-shot text classification aim to wrap textual inputs
with task-specific prompts to cloze questions. By processing them with a masked
language model to predict the masked tokens and using a verbalizer that
constructs the mapping between predicted words and target labels. This approach
of using pre-trained language models is called prompt-based tuning, which could
remarkably outperform conventional fine-tuning approach in the low-data
scenario. As the core of prompt-based tuning, the verbalizer is usually
handcrafted with human efforts or suboptimally searched by gradient descent. In
this paper, we focus on automatically constructing the optimal verbalizer and
propose a novel evolutionary verbalizer search (EVS) algorithm, to improve
prompt-based tuning with the high-performance verbalizer. Specifically,
inspired by evolutionary algorithm (EA), we utilize it to automatically evolve
various verbalizers during the evolutionary procedure and select the best one
after several iterations. Extensive few-shot experiments on five text
classification datasets show the effectiveness of our method.
- Abstract（参考訳）: テキスト分類の最近の進歩は、テキスト入力をタスク固有のプロンプトでラップして質問をクローズすることを目的としている。
マスク付き言語モデルでそれらを処理し、マスク付きトークンを予測し、予測された単語とターゲットラベルのマッピングを構成する動詞を用いた。
事前訓練された言語モデルを使用するこのアプローチは、プロンプトベースのチューニングと呼ばれ、低データシナリオにおける従来の微調整アプローチよりも著しく優れている。
プロンプトベースのチューニングのコアとして、動詞化語は通常、人間の努力で手作りされる。
本稿では, 最適言語化器の自動構築に着目し, 高速言語化器による即興チューニングを改善するための新しい進化的言語化器探索アルゴリズムを提案する。
具体的には、進化アルゴリズム(EA)にインスパイアされ、進化過程において様々な動詞を自動進化させ、何回か繰り返して最適なものを選択する。
5つのテキスト分類データセットに関する広範囲なサンプル実験を行い,本手法の有効性を示した。
関連論文リスト
- SciPrompt: Knowledge-augmented Prompting for Fine-grained Categorization of Scientific Topics [2.3742710594744105]
SciPromptは,低リソーステキスト分類タスクに対して,科学的トピック関連用語を自動的に検索するフレームワークである。
本手法は, ほとんど, ゼロショット設定下での科学的テキスト分類作業において, 最先端, 即時的な微調整法より優れる。
論文 参考訳（メタデータ） (2024-10-02T18:45:04Z) - Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue [71.15186328127409]
パラリンGPT(Paralin GPT)
モデルは、シリアライズされたマルチタスクフレームワーク内の入力プロンプトとして、テキスト、音声埋め込み、およびパラ言語属性の会話コンテキストを取る。
音声対話データセットとして,感情ラベルをパラ言語属性として含むSwitchboard-1コーパスを利用する。
論文 参考訳（メタデータ） (2023-12-23T18:14:56Z) - MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text
Classification [65.51149771074944]
MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。
広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。
結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-06-15T06:51:35Z) - Prompt-Based Editing for Text Style Transfer [25.863546922455498]
テキストスタイル転送のためのプロンプトベースの編集手法を提案する。
我々は,プロンプトベースの生成問題を,学習自由なプロセスである分類問題に変換する。
我々のアプローチは、20倍のパラメータを持つ最先端のシステムよりも大幅に優れています。
論文 参考訳（メタデータ） (2023-01-27T21:31:14Z) - PatternRank: Leveraging Pretrained Language Models and Part of Speech
for Unsupervised Keyphrase Extraction [0.6767885381740952]
本稿では,1つの文書から教師なしキーフレーズを抽出するために,事前訓練された言語モデルとパート・オブ・音声を提供するPatternRankを提案する。
実験の結果,PatternRankは従来の最先端手法よりも高精度,リコール,F1スコアを実現していることがわかった。
論文 参考訳（メタデータ） (2022-10-11T08:23:54Z) - Prototypical Verbalizer for Prompt-based Few-shot Tuning [32.74024339482436]
本稿では,学習データから直接構築した動詞化器(ProtoVerb)を提案する。
ProtoVerbは、比較学習によりプロトタイプベクトルを原型動詞化子として学習する。
トピック分類とエンティティ型付けの両方の実験を行い、その結果、ProtoVerbが現在の自動動詞処理よりも大幅に優れていることを示した。
論文 参考訳（メタデータ） (2022-03-18T07:07:56Z) - Eliciting Knowledge from Pretrained Language Models for Prototypical
Prompt Verbalizer [12.596033546002321]
本稿では,事前学習された言語モデルから知識を抽出することに集中し,プロンプト学習のためのプロトタイプなプロンプト動詞化手法を提案する。
ゼロショット設定では、知識は事前訓練された言語モデルから手動で設計され、初期プロトタイプの埋め込みを形成する。
数ショット設定では、モデルは有意義で解釈可能なプロトタイプの埋め込みを学ぶように調整される。
論文 参考訳（メタデータ） (2022-01-14T12:04:37Z) - CLIP-Adapter: Better Vision-Language Models with Feature Adapters [79.52844563138493]
即時チューニング以外に、より良い視覚言語モデルを実現するための代替経路があることが示される。
本稿では,CLIP-Adapterを提案する。
様々な視覚的分類タスクの実験および広範囲なアブレーション研究は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2021-10-09T11:39:30Z) - Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt
Verbalizer for Text Classification [68.3291372168167]
我々は、外部知識を言語化に取り入れることに集中し、知識に富んだプロンプトチューニング(KPT)を形成する。
我々は,外部知識ベース(KB)を用いてラベル語空間を拡張し,拡張されたラベル語空間で予測する前に PLM 自体で拡張されたラベル語空間を洗練する。
ゼロと少数ショットのテキスト分類タスクの実験は、知識のあるプロンプトチューニングの有効性を示す。
論文 参考訳（メタデータ） (2021-08-04T13:00:16Z) - Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。
我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。
質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文 参考訳（メタデータ） (2020-10-07T21:02:41Z) - Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。
本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
論文 参考訳（メタデータ） (2020-05-04T05:45:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。