論文の概要: Adversarial Robustness of Prompt-based Few-Shot Learning for Natural
Language Understanding
- arxiv url: http://arxiv.org/abs/2306.11066v2
- Date: Wed, 21 Jun 2023 03:56:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 10:26:36.112272
- Title: Adversarial Robustness of Prompt-based Few-Shot Learning for Natural
Language Understanding
- Title(参考訳): 自然言語理解のためのPrompt-based Few-Shot Learningの逆ロバスト性
- Authors: Venkata Prabhakara Sarath Nookala, Gaurav Verma, Subhabrata Mukherjee,
Srijan Kumar
- Abstract要約: 自然言語理解(NLU)タスクの目覚ましい結果を得るために,プロンプトベースの微調整を活用する。
敵の摂動に対するロバスト性を評価するために, 最先端のFSL法を幅広く検討した。
- 参考スコア(独自算出の注目度): 23.458843951563978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art few-shot learning (FSL) methods leverage prompt-based
fine-tuning to obtain remarkable results for natural language understanding
(NLU) tasks. While much of the prior FSL methods focus on improving downstream
task performance, there is a limited understanding of the adversarial
robustness of such methods. In this work, we conduct an extensive study of
several state-of-the-art FSL methods to assess their robustness to adversarial
perturbations. To better understand the impact of various factors towards
robustness (or the lack of it), we evaluate prompt-based FSL methods against
fully fine-tuned models for aspects such as the use of unlabeled data, multiple
prompts, number of few-shot examples, model size and type. Our results on six
GLUE tasks indicate that compared to fully fine-tuned models, vanilla FSL
methods lead to a notable relative drop in task performance (i.e., are less
robust) in the face of adversarial perturbations. However, using (i) unlabeled
data for prompt-based FSL and (ii) multiple prompts flip the trend. We further
demonstrate that increasing the number of few-shot examples and model size lead
to increased adversarial robustness of vanilla FSL methods. Broadly, our work
sheds light on the adversarial robustness evaluation of prompt-based FSL
methods for NLU tasks.
- Abstract(参考訳): state-of-the-art few-shot learning (fsl) 法は、プロンプトベースの微調整を利用して自然言語理解 (nlu) タスクの顕著な結果を得る。
以前のfslメソッドの多くはダウンストリームタスクのパフォーマンス向上に重点を置いているが、そのようなメソッドの敵対的ロバスト性に対する理解は限られている。
本研究では, 対向摂動に対するロバスト性を評価するために, 最先端FSL法を幅広く検討する。
頑健性(あるいは欠如)に対する様々な要因の影響をよりよく理解するために,ラベルなしデータの利用,複数プロンプト,少数のサンプル数,モデルサイズ,タイプといった側面の完全微調整モデルに対して,プロンプトベースのfsl手法を評価する。
GLUEタスクの6つの結果から, 完全微調整モデルと比較して, バニラFSL法は対向的摂動に直面した場合, タスク性能の顕著な低下(すなわち, 頑健さの低下)を引き起こすことが示された。
しかし 利用は
(i)プロンプトベースfslのラベルなしデータ及び
(ii)傾向を反転させる複数のプロンプト。
さらに, サンプル数の増加とモデルサイズがバニラFSL法の対角的ロバスト性の向上につながることを実証した。
本研究は,NLUタスクに対するプロンプトベースFSL手法の対向ロバスト性評価に重点を置いている。
関連論文リスト
- BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。
本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。
そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文 参考訳(メタデータ) (2024-02-04T10:52:43Z) - Instance-based Max-margin for Practical Few-shot Recognition [32.26577845735846]
IbM2は、数ショット学習のための新しいインスタンスベースのマックスマージン法である。
本稿では,IbM2がベースライン法に比べてほぼ常に改善されていることを示す。
論文 参考訳(メタデータ) (2023-05-27T04:55:13Z) - Active Learning Principles for In-Context Learning with Large Language
Models [65.09970281795769]
本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。
ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
論文 参考訳(メタデータ) (2023-05-23T17:16:04Z) - Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。
提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
論文 参考訳(メタデータ) (2023-05-09T11:00:02Z) - Semantics-driven Attentive Few-shot Learning over Clean and Noisy
Samples [0.0]
メタラーナーモデルを学習し、新しいクラスに関する事前の意味知識を活用して分類器合成プロセスを導くことを目指している。
特に,表現次元とトレーニングインスタンスの重要性を推定する意味条件付き特徴注意機構とサンプル注意機構を提案する。
論文 参考訳(メタデータ) (2022-01-09T16:16:23Z) - A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [35.035361304569186]
少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。
本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
論文 参考訳(メタデータ) (2021-10-21T13:25:52Z) - On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。
これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文 参考訳(メタデータ) (2021-01-18T10:12:31Z) - Interventional Few-Shot Learning [88.31112565383457]
本稿では,新しいFew-Shot Learningパラダイム,Interventional Few-Shot Learningを提案する。
コードはhttps://github.com/yue-zhongqi/ifsl.comで公開されている。
論文 参考訳(メタデータ) (2020-09-28T01:16:54Z) - FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding [55.38905499274026]
機械学習は、機械学習における重要なステップの1つだ。
FewJointは、NLP用のFew-Shot Learningベンチマークである。
論文 参考訳(メタデータ) (2020-09-17T08:17:12Z) - Boosting Few-Shot Learning With Adaptive Margin Loss [109.03665126222619]
本稿では,数ショット学習問題に対するメートル法に基づくメタラーニング手法の一般化能力を改善するための適応的マージン原理を提案する。
大規模な実験により,提案手法は,現在のメートル法に基づくメタラーニング手法の性能を向上させることができることが示された。
論文 参考訳(メタデータ) (2020-05-28T07:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。