論文の概要: Evaluating the Robustness of Discrete Prompts

• arxiv url: http://arxiv.org/abs/2302.05619v1
• Date: Sat, 11 Feb 2023 07:01:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 19:28:22.455401
• Title: Evaluating the Robustness of Discrete Prompts
• Title（参考訳）: 離散プロンプトのロバスト性評価
• Authors: Yoichi Ishibashi, Danushka Bollegala, Katsuhito Sudoh, Satoshi Nakamura
• Abstract要約: 我々は離散的なプロンプトの堅牢性について体系的な研究を行う。 2つの自然言語推論(NLI)データセットでそれらの性能を測定する。 提案手法は,NLI入力に対する摂動に対して比較的頑健であるが,シャッフルやプロンプトの削除といった他の種類の摂動に対して非常に敏感である。
• 参考スコア（独自算出の注目度）: 27.919548466481583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete prompts have been used for fine-tuning Pre-trained Language Models for diverse NLP tasks. In particular, automatic methods that generate discrete prompts from a small set of training instances have reported superior performance. However, a closer look at the learnt prompts reveals that they contain noisy and counter-intuitive lexical constructs that would not be encountered in manually-written prompts. This raises an important yet understudied question regarding the robustness of automatically learnt discrete prompts when used in downstream tasks. To address this question, we conduct a systematic study of the robustness of discrete prompts by applying carefully designed perturbations into an application using AutoPrompt and then measure their performance in two Natural Language Inference (NLI) datasets. Our experimental results show that although the discrete prompt-based method remains relatively robust against perturbations to NLI inputs, they are highly sensitive to other types of perturbations such as shuffling and deletion of prompt tokens. Moreover, they generalize poorly across different NLI datasets. We hope our findings will inspire future work on robust discrete prompt learning.
• Abstract（参考訳）: 離散プロンプトは、様々なNLPタスクのための微調整済み言語モデルに使われてきた。 特に、小さなトレーニングインスタンスから離散的なプロンプトを生成する自動メソッドは、優れたパフォーマンスを報告している。 しかし、学習者のプロンプトをよく見ると、手書きのプロンプトでは遭遇しないノイズや反直感的な語彙構造が含まれていることが分かる。 このことは、下流タスクで使われるときに自動的に学習される離散的なプロンプトの堅牢性に関する重要な未調査の疑問を提起する。 本稿では,AutoPromptを用いてアプリケーションに慎重に設計した摂動を適用し,その性能を2つの自然言語推論(NLI)データセットで測定することにより,離散的なプロンプトの頑健さを体系的に研究する。 実験結果から,NLI入力に対する摂動に対して離散的なプロンプトベース法は比較的頑健であるが,シャッフルやプロンプトトークンの削除といった他の種類の摂動に対して非常に敏感であることがわかった。 さらに、異なるNLIデータセットに分散する。 私たちの発見が、堅牢な離散的な素早い学習に将来の成果をもたらすことを期待しています。

関連論文リスト

• StablePT: Towards Stable Prompting for Few-shot Learning via Input Separation [14.341806875791288]
  sysnameは最先端の手法を6.97%精度で上回り、標準偏差を平均1.92倍に下げる。 テストは、さまざまなタスクをカバーする8つのデータセットの堅牢性と安定性を強調している。
  論文  参考訳（メタデータ） (2024-04-30T08:01:49Z)
• Continuous Prompt Generation from Linear Combination of Discrete Prompt Embeddings [0.0]
  本稿では、離散的なプロンプト埋め込みによる連続的プロンプト構築手法を提案し、連続的プロンプト解釈可能性および推論精度の向上を評価する。 手動で設計した離散プロンプトのセット $mathcalD$ に対して、各プロンプトをテンソル形式にトークン化し埋め込み、これらのプロンプトの線形結合が自然言語理解タスクのより高いパフォーマンスに対応するような重みを予測できるようにモデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-16T05:02:06Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• Instance-aware Prompt Learning for Language Understanding and Generation [49.22899822734549]
  本稿では,インスタンス毎に異なるプロンプトを学習するインスタンス対応プロンプト学習手法を提案する。 提案手法は,SuperGLUE数ショット学習ベンチマークの最先端性を実現する。
  論文  参考訳（メタデータ） (2022-01-18T17:03:25Z)
• PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts [99.03864962014431]
  目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。 実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
  論文  参考訳（メタデータ） (2021-12-15T18:55:05Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。