論文の概要: Efficient Few-Shot Learning Without Prompts

• arxiv url: http://arxiv.org/abs/2209.11055v1
• Date: Thu, 22 Sep 2022 14:48:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 13:25:26.930618
• Title: Efficient Few-Shot Learning Without Prompts
• Title（参考訳）: プロンプトなしの効率的なファウショット学習
• Authors: Lewis Tunstall, Nils Reimers, Unso Eun Seo Jo, Luke Bates, Daniel Korat, Moshe Wasserblat, Oren Pereg
• Abstract要約: 文変換器(ST)の少数ショット微調整のための効率的なフレームワークであるSetFitを提案する。 SetFitは、少数のテキストペアで事前訓練されたSTを、対照的なシームズ方式で微調整することで機能する。 実験の結果,SetFit は PEFT および PET 技術と同等の結果を得た。
• 参考スコア（独自算出の注目度）: 9.658946815501938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent few-shot methods, such as parameter-efficient fine-tuning (PEFT) and pattern exploiting training (PET), have achieved impressive results in label-scarce settings. However, they are difficult to employ since they are subject to high variability from manually crafted prompts, and typically require billion-parameter language models to achieve high accuracy. To address these shortcomings, we propose SetFit (Sentence Transformer Fine-tuning), an efficient and prompt-free framework for few-shot fine-tuning of Sentence Transformers (ST). SetFit works by first fine-tuning a pretrained ST on a small number of text pairs, in a contrastive Siamese manner. The resulting model is then used to generate rich text embeddings, which are used to train a classification head. This simple framework requires no prompts or verbalizers, and achieves high accuracy with orders of magnitude less parameters than existing techniques. Our experiments show that SetFit obtains comparable results with PEFT and PET techniques, while being an order of magnitude faster to train. We also show that SetFit can be applied in multilingual settings by simply switching the ST body. Our code is available at https://github.com/huggingface/setfit and our datasets at https://huggingface.co/setfit .
• Abstract（参考訳）: 近年,PEFT(パラメータ効率のよい微調整)やPET(パターンエクスプロイトトレーニング)といったいくつかの手法がラベルスカース設定において顕著な成果を上げている。 しかし、手作業によるプロンプトから高い変動があり、高い精度を達成するために10億パラメータの言語モデルを必要とするため、採用は困難である。 これらの欠点に対処するために,文変換器(st)の短時間微調整のための効率的かつ即席の枠組みであるsetfit(sentence transformer fine-tuning)を提案する。 SetFitは、少数のテキストペアで事前訓練されたSTを、対照的なシームズ方式で微調整する。 得られたモデルはリッチテキスト埋め込みを生成するために使用され、分類ヘッドのトレーニングに使用される。 この単純なフレームワークはプロンプトや動詞化を必要とせず、既存の手法よりも桁違いに少ないパラメータで高い精度を達成する。 私たちの実験では、setfitはペフトやペットのテクニックに匹敵する結果を得ています。 また、ST本体を切り替えるだけで、SetFitを多言語設定に適用できることを示す。 私たちのコードはhttps://github.com/huggingface/setfitで、データセットはhttps://huggingface.co/setfitで利用可能です。

関連論文リスト

• RIFF: Learning to Rephrase Inputs for Few-shot Fine-tuning of Language Models [4.085425430499285]
  本稿では,パラメータ効率のよい微調整手法と合わせて,元のタスクの入力テキストを変更することの影響について検討する。 入力テキストの書き直しを効果的に行うため,最大辺縁類似度を目標とした数発のパラフレーズモデルを訓練する。 本研究では, パラメータ効率のよい微調整だけで達成できることを超えて, 列車におけるパラフレーズとテスト時間によるデータ豊か化により, 性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-04T17:58:09Z)
• DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
  ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。 DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-11T00:02:05Z)
• PIP: Parse-Instructed Prefix for Syntactically Controlled Paraphrase Generation [61.05254852400895]
  Parse-Instructed Prefix (PIP) は、大規模な事前学習言語モデルをチューニングするためのプレフィックスチューニングの新しい適応である。 このタスクの従来の微調整手法とは対照的に、PIPは学習可能なパラメータの10倍少ない計算効率の代替手段である。
  論文  参考訳（メタデータ） (2023-05-26T07:42:38Z)
• Strong Baselines for Parameter Efficient Few-Shot Fine-tuning [50.83426196335385]
  FSC (Few-shot Classification) は、事前訓練(メタトレーニング)フェーズの後にクラス毎にいくつかの例を与えられた新しいクラスを学習する。 近年の研究では、新しいテストクラスで事前訓練された視覚変換器(ViT)を微調整することが、FSCにとって強力なアプローチであることが示されている。 しかし、微調整のViTは、時間、計算、ストレージに費用がかかる。 これにより、Transformerのパラメータのごく一部だけを微調整するPEFT法が考案された。
  論文  参考訳（メタデータ） (2023-04-04T16:14:39Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• PERFECT: Prompt-free and Efficient Few-shot Learning with Language Models [67.3725459417758]
  PERFECTは、手工芸に頼らずに数発のPLMを微調整するためのシンプルで効率的な方法である。 そこで本研究では,手作業によるタスクプロンプトを,サンプル効率の良い微調整が可能なタスク固有アダプタに置き換えることができることを示す。 幅広い数発のNLPタスクの実験では、PERFECTはシンプルで効率的でありながら、既存の最先端の数発の学習方法よりも優れていることが示されている。
  論文  参考訳（メタデータ） (2022-04-03T22:31:25Z)
• Prefix-Tuning: Optimizing Continuous Prompts for Generation [85.6357778621526]
  微調整は、大規模な事前訓練された言語モデルを使用して下流のタスクを実行する事実上の方法です。 自然言語生成タスクの微調整に代わる軽量なプレフィックスチューニングを提案する。 パラメータの0.1%しか学習しないことで、プレフィックスチューニングは完全なデータ設定で同等のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-01-01T08:00:36Z)
• Know What You Don't Need: Single-Shot Meta-Pruning for Attention Heads [114.77890059625162]
  微調整前に深部学習前変換器を圧縮する単一ショットメタプランニング法を提案する。 下流の様々なタスクに適応的に不必要な注意を向けることに注力する。 事前学習したモデルに対する既存の圧縮手法と比較して、微調整と推論の両方のオーバーヘッドを低減することができる。
  論文  参考訳（メタデータ） (2020-11-07T12:58:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。