論文の概要: How are Prompts Different in Terms of Sensitivity?

• arxiv url: http://arxiv.org/abs/2311.07230v2
• Date: Thu, 20 Jun 2024 22:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 20:17:56.950949
• Title: How are Prompts Different in Terms of Sensitivity?
• Title（参考訳）: 感度の観点でプロンプトはどのように異なるか?
• Authors: Sheng Lu, Hendrik Schuff, Iryna Gurevych,
• Abstract要約: 本稿では,関数の感度に基づく包括的即時解析を提案する。 出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。 本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
• 参考スコア（独自算出の注目度）: 50.67313477651395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) has become one of the most popular learning paradigms. While there is a growing body of literature focusing on prompt engineering, there is a lack of systematic analysis comparing the effects of prompts across different models and tasks. To address this gap, we present a comprehensive prompt analysis based on the sensitivity of a function. Our analysis reveals that sensitivity is an unsupervised proxy for model performance, as it exhibits a strong negative correlation with accuracy. We use gradient-based saliency scores to empirically demonstrate how different prompts affect the relevance of input tokens to the output, resulting in different levels of sensitivity. Furthermore, we introduce sensitivity-aware decoding which incorporates sensitivity estimation as a penalty term in the standard greedy decoding. We show that this approach is particularly helpful when information in the input is scarce. Our work provides a fresh perspective on the analysis of prompts, and contributes to a better understanding of the mechanism of ICL.
• Abstract（参考訳）: In-context Learning (ICL)は、最も人気のある学習パラダイムの1つである。 プロンプトエンジニアリングに焦点を当てた文献が増えている一方で、異なるモデルやタスク間でのプロンプトの効果を比較する体系的な分析が欠如している。 このギャップに対処するため,関数の感度に基づいた包括的プロンプト解析を提案する。 分析の結果、感度はモデル性能の教師なしプロキシであり、精度と強い負の相関を示すことが明らかとなった。 出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために,勾配に基づく塩分濃度スコアを用いた。 さらに, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。 入力情報が少ない場合には,この手法が特に有用であることを示す。 我々の研究は、プロンプトの分析に新たな視点を与え、ICLのメカニズムをより深く理解するのに役立ちます。

関連論文リスト

• ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs [72.13489820420726]
  ProSAは、大規模な言語モデルにおいて、迅速な感度を評価し、理解するために設計されたフレームワークである。 我々の研究は、データセットやモデル間で迅速に感度が変動することを発見し、より大きなモデルでは堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2024-10-16T09:38:13Z)
• Validation, Robustness, and Accuracy of Perturbation-Based Sensitivity Analysis Methods for Time-Series Deep Learning Models [0.0]
  本研究は,時間系列深層学習における解釈可能性の評価研究である。 私の研究は、最新のTransformerモデルにおける摂動に基づく感度解析手法について検討し、その性能をベンチマークする。
  論文  参考訳（メタデータ） (2024-01-29T19:51:50Z)
• Automatic Sensor-free Affect Detection: A Systematic Literature Review [0.0]
  本稿では,センサレス感情検出に関する総合的な文献レビューを行う。 この分野の明らかな成熟度は、モデルの一貫した性能によって証明されているにもかかわらず、将来の研究には十分な範囲がある。 モデル開発プラクティスやメソッドの洗練も必要です。
  論文  参考訳（メタデータ） (2023-10-11T13:24:27Z)
• RaSa: Relation and Sensitivity Aware Representation Learning for Text-based Person Search [51.09723403468361]
  関係性と感性を考慮した表現学習法(RaSa)を提案する。 RaSaにはリレーショナル・アウェア・ラーニング(RA)と感性・アウェア・ラーニング(SA)という2つの新しいタスクが含まれている。 実験によると、RaSaは既存の最先端メソッドを6.94%、4.45%、および15.35%で上回っている。
  論文  参考訳（メタデータ） (2023-05-23T03:53:57Z)
• Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction [86.15787587540132]
  語彙レベルでモデルの振る舞いを精査する尺度である感度スコアを導入する。 本実験は,感度スコアのランク相関に基づいて,臨床医と分類医の意思決定論理を比較した。
  論文  参考訳（メタデータ） (2022-11-13T23:59:11Z)
• On the Relation between Sensitivity and Accuracy in In-context Learning [41.27837171531926]
  インコンテキスト学習(ICL)はプロンプトに対する過敏性に悩まされており、現実のシナリオでは信頼性が低い。 複数の摂動型に対するICLの感度について検討した。 センシティブな予測を無視する数ショット選択予測法であるtextscSenSel を提案する。
  論文  参考訳（メタデータ） (2022-09-16T00:52:34Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Balancing Robustness and Sensitivity using Feature Contrastive Learning [95.86909855412601]
  堅牢性を促進する方法は、希少なパターンや表現不足パターンに対するモデルの感受性を損なう可能性がある。 本稿では,より高次文脈的有用性を持つ機能に対して,モデルにより敏感な特徴を与える機能コントラスト学習(FCL)を提案する。
  論文  参考訳（メタデータ） (2021-05-19T20:53:02Z)
• Sensitivity as a Complexity Measure for Sequence Classification Tasks [24.246784593571626]
  標準のシーケンス分類法は低感度関数の学習に偏っているため、高感度を必要とするタスクがより困難である。 15のNLPタスクで感度を推定し、単純なテキスト分類タスクよりもGLUEで収集された挑戦的なタスクで感度が高いことを発見した。
  論文  参考訳（メタデータ） (2021-04-21T03:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。