論文の概要: PromptBoosting: Black-Box Text Classification with Ten Forward Passes
- arxiv url: http://arxiv.org/abs/2212.09257v2
- Date: Mon, 3 Jul 2023 02:28:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 14:59:41.629309
- Title: PromptBoosting: Black-Box Text Classification with Ten Forward Passes
- Title(参考訳): PromptBoosting: 10の前方パスを持つブラックボックステキスト分類
- Authors: Bairu Hou, Joe O'Connor, Jacob Andreas, Shiyu Chang, Yang Zhang
- Abstract要約: PromptBoostingは、LMのパラメータ、勾配、隠された表現にアクセスすることなく、ニューラルネットワークモデル(LM)からテキスト分類器を構築するためのクエリ効率のよい手順である。
実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
- 参考スコア(独自算出の注目度): 61.38341243907045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We describe PromptBoosting, a query-efficient procedure for building a text
classifier from a neural language model (LM) without access to the LM's
parameters, gradients, or hidden representations. This form of "black-box"
classifier training has become increasingly important as the cost of training
and inference in large-scale LMs grows. But existing black-box LM classifier
learning approaches are themselves computationally inefficient, typically
specializing LMs to the target task by searching in a large space of (discrete
or continuous) prompts using zeroth-order optimization methods. Instead of
directly optimizing in prompt space, PromptBoosting obtains a small pool of
prompts via a gradient-free approach and then constructs a large pool of weak
learners by pairing these prompts with different elements of the LM's output
distribution. These weak learners are then ensembled using the AdaBoost
algorithm. The entire learning process requires only a small number of forward
passes and no backward pass. Experiments show that PromptBoosting achieves
state-of-the-art performance in multiple black-box few-shot classification
tasks, and matches or outperforms full fine-tuning in both few-shot and
standard learning paradigms, while training 10x faster than existing black-box
methods.
- Abstract(参考訳): ニューラルネットワークモデル(lm)からテキスト分類器を構築するためのクエリ効率の高い手順であるpromplyboostingを,lmのパラメータや勾配,隠れた表現にアクセスせずに記述する。
大規模LMのトレーニングと推論のコストが増大するにつれて、このような「ブラックボックス」分類器の訓練はますます重要になっている。
しかし、既存のブラックボックスlm分類器学習アプローチは計算効率が悪く、通常、ゼロ次最適化法を用いて(離散的または連続的な)プロンプトの広い空間を探索することで、ターゲットタスクにlmsを特殊化する。
PromptBoostingは、プロンプト空間を直接最適化する代わりに、勾配のないアプローチでプロンプトの小さなプールを取得し、その後、これらのプロンプトとLMの出力分布の異なる要素をペアリングすることによって、弱い学習者の大きなプールを構築する。
これらの弱い学習者はAdaBoostアルゴリズムを使って組み立てられる。
学習プロセス全体は少数の前方パスのみを必要とし、後方パスは不要である。
実験によると、PromptBoostingは複数のブラックボックスのいくつかのショット分類タスクで最先端のパフォーマンスを達成し、既存のブラックボックスメソッドよりも10倍速くトレーニングしながら、少数ショットと標準学習のパラダイムの両方で完全な微調整をマッチまたは上回っている。
関連論文リスト
- Survival of the Most Influential Prompts: Efficient Black-Box Prompt
Search via Clustering and Pruning [77.61565726647784]
本稿では,まず検索空間をクラスタ化してプルークするブラックボックス探索手法を提案する。
検索空間設計と最適化は,ブラックボックス・プロンプトに基づく学習の有用性と効率性を両立させる上で重要な役割を担っている。
論文 参考訳(メタデータ) (2023-10-19T14:25:06Z) - Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data
Augmentation [42.05617728412819]
大規模言語モデルの勾配にアクセスすることなく、少数ショットのテキスト分類を最適化する方法を示す。
我々のアプローチはBT-Classifierと呼ばれ、最先端のブラックボックス学習者よりもはるかに優れています。
論文 参考訳(メタデータ) (2023-05-23T07:54:34Z) - Boosted Prompt Ensembles for Large Language Models [38.402161594793775]
チェーン・オブ・ソート・プロンプトや自己整合性といった手法は、追加のトレーニングを伴わずに、言語モデル推論のパフォーマンスのフロンティアを押し上げている。
大規模言語モデルのためのプロンプトアンサンブル手法を提案する。これは、小さなデータセットを用いて、強化されたプロンプトアンサンブルを構成する一連のショットプロンプトを構成する。」
これにより,GSM8kおよびAQuAデータセットにおいて,単一プロンプトの出力空間アンサンブルとタグ付きプロンプト空間アンサンブルより優れることを示す。
論文 参考訳(メタデータ) (2023-04-12T16:47:15Z) - Diversity-Aware Meta Visual Prompting [111.75306320834629]
DAM-VP(Diversity-Aware Meta Visual Prompting)は、学習済みのモデルを凍結したバックボーンで下流のタスクに転送する効率的なプロンプト手法である。
下流のデータセットを、多様性に富んだ方法で小さなサブセットにクラスタ化し、それぞれのサブセットがそれぞれ独自のプロンプトを持っている。
すべてのプロンプトはメタプロンプトで最適化され、複数のデータセットで学習される。
論文 参考訳(メタデータ) (2023-03-14T17:59:59Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳(メタデータ) (2022-06-04T10:08:50Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z) - IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。
本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
論文 参考訳(メタデータ) (2022-04-09T15:45:27Z) - MP-Boost: Minipatch Boosting via Adaptive Feature and Observation
Sampling [0.0]
MP-BoostはAdaBoostを緩くベースとしたアルゴリズムで、インスタンスと機能の小さなサブセットを適応的に選択することで学習する。
様々な二項分類タスクにおいて,提案手法の解釈可能性,比較精度,計算時間について実験的に検証した。
論文 参考訳(メタデータ) (2020-11-14T04:26:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。