論文の概要: Adversarial Robustness of Prompt-based Few-Shot Learning for Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2306.11066v1
• Date: Mon, 19 Jun 2023 17:01:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 16:48:26.217561
• Title: Adversarial Robustness of Prompt-based Few-Shot Learning for Natural Language Understanding
• Title（参考訳）: 自然言語理解のためのPrompt-based Few-Shot Learningの逆ロバスト性
• Authors: Venkata Prabhakara Sarath Nookala, Gaurav Verma, Subhabrata Mukherjee, Srijan Kumar
• Abstract要約: 自然言語理解(NLU)タスクの目覚ましい結果を得るために,プロンプトベースの微調整を活用する。 敵の摂動に対するロバスト性を評価するために, 最先端のFSL法を幅広く検討した。
• 参考スコア（独自算出の注目度）: 23.458843951563978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art few-shot learning (FSL) methods leverage prompt-based fine-tuning to obtain remarkable results for natural language understanding (NLU) tasks. While much of the prior FSL methods focus on improving downstream task performance, there is a limited understanding of the adversarial robustness of such methods. In this work, we conduct an extensive study of several state-of-the-art FSL methods to assess their robustness to adversarial perturbations. To better understand the impact of various factors towards robustness (or the lack of it), we evaluate prompt-based FSL methods against fully fine-tuned models for aspects such as the use of unlabeled data, multiple prompts, number of few-shot examples, model size and type. Our results on six GLUE tasks indicate that compared to fully fine-tuned models, vanilla FSL methods lead to a notable relative drop in task performance (i.e., are less robust) in the face of adversarial perturbations. However, using (i) unlabeled data for prompt-based FSL and (ii) multiple prompts flip the trend. We further demonstrate that increasing the number of few-shot examples and model size lead to increased adversarial robustness of vanilla FSL methods. Broadly, our work sheds light on the adversarial robustness evaluation of prompt-based FSL methods for NLU tasks.
• Abstract（参考訳）: state-of-the-art few-shot learning (fsl) 法は、プロンプトベースの微調整を利用して自然言語理解 (nlu) タスクの顕著な結果を得る。 以前のfslメソッドの多くはダウンストリームタスクのパフォーマンス向上に重点を置いているが、そのようなメソッドの敵対的ロバスト性に対する理解は限られている。 本研究では, 対向摂動に対するロバスト性を評価するために, 最先端FSL法を幅広く検討する。 頑健性(あるいは欠如)に対する様々な要因の影響をよりよく理解するために,ラベルなしデータの利用,複数プロンプト,少数のサンプル数,モデルサイズ,タイプといった側面の完全微調整モデルに対して,プロンプトベースのfsl手法を評価する。 GLUEタスクの6つの結果から, 完全微調整モデルと比較して, バニラFSL法は対向的摂動に直面した場合, タスク性能の顕著な低下(すなわち, 頑健さの低下)を引き起こすことが示された。 しかし 利用は (i)プロンプトベースfslのラベルなしデータ及び (ii)傾向を反転させる複数のプロンプト。 さらに, サンプル数の増加とモデルサイズがバニラFSL法の対角的ロバスト性の向上につながることを実証した。 本研究は,NLUタスクに対するプロンプトベースFSL手法の対向ロバスト性評価に重点を置いている。

関連論文リスト

• Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning [4.137391543972184]
  半教師付き学習(SSL)は目覚ましい進歩をみせており、多くの方法のバリエーションをもたらしている。 本稿では,FinSSLという新しいSSLアプローチを提案する。 我々は、FineSSLが複数のベンチマークデータセットにSSLの新たな状態を設定し、トレーニングコストを6倍以上削減し、さまざまな微調整と現代的なSSLアルゴリズムをシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-05-20T03:33:12Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• Instance-based Max-margin for Practical Few-shot Recognition [32.26577845735846]
  IbM2は、数ショット学習のための新しいインスタンスベースのマックスマージン法である。 本稿では,IbM2がベースライン法に比べてほぼ常に改善されていることを示す。
  論文  参考訳（メタデータ） (2023-05-27T04:55:13Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Semantics-driven Attentive Few-shot Learning over Clean and Noisy Samples [0.0]
  メタラーナーモデルを学習し、新しいクラスに関する事前の意味知識を活用して分類器合成プロセスを導くことを目指している。 特に,表現次元とトレーニングインスタンスの重要性を推定する意味条件付き特徴注意機構とサンプル注意機構を提案する。
  論文  参考訳（メタデータ） (2022-01-09T16:16:23Z)
• A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
  少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。 本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
  論文  参考訳（メタデータ） (2021-10-21T13:25:52Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Interventional Few-Shot Learning [88.31112565383457]
  本稿では,新しいFew-Shot Learningパラダイム,Interventional Few-Shot Learningを提案する。 コードはhttps://github.com/yue-zhongqi/ifsl.comで公開されている。
  論文  参考訳（メタデータ） (2020-09-28T01:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。