論文の概要: On the Relation between Sensitivity and Accuracy in In-context Learning

• arxiv url: http://arxiv.org/abs/2209.07661v1
• Date: Fri, 16 Sep 2022 00:52:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 11:41:31.177134
• Title: On the Relation between Sensitivity and Accuracy in In-context Learning
• Title（参考訳）: 文脈内学習における感度と精度の関係について
• Authors: Yanda Chen, Chen Zhao, Zhou Yu, Kathleen McKeown, He He
• Abstract要約: 我々は多種類の摂動に対するICLの感度について検討した。 ICL感度に基づく数ショット選択予測法であるtextscSenSelを提案する。
• 参考スコア（独自算出の注目度）: 59.63252435911095
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context learning (ICL) suffers from oversensitivity to the prompt, which makes it unreliable in real-world scenarios. We study the sensitivity of ICL with respect to multiple types of perturbations. First, we find that label bias obscures true ICL sensitivity, and hence prior work may have significantly underestimated the true ICL sensitivity. Second, we observe a strong negative correlation between ICL sensitivity and accuracy, with sensitive predictions less likely to be correct. Motivated by these observations, we propose \textsc{SenSel}, a few-shot selective prediction method based on ICL sensitivity. Experiments on ten classification benchmarks show that \textsc{SenSel} consistently outperforms a commonly used confidence-based selective prediction baseline.
• Abstract（参考訳）: in-context learning(icl)はプロンプトに対する過敏性に苦しむため、現実のシナリオでは信頼できない。 我々は多種類の摂動に対するICLの感度について検討した。 まず,ラベルバイアスは真のICL感度を曖昧にするため,先行研究は真のICL感度を著しく過小評価していた可能性がある。 第二に、ICL感度と精度の間には強い負の相関が見られ、感度の予測が正しい可能性が低い。 そこで本研究では, icl感度に基づく数発選択予測法である \textsc{sensel} を提案する。 10の分類ベンチマークの実験では、 \textsc{SenSel} は、一般的に使用される信頼に基づく選択予測基準よりも一貫して優れていた。

関連論文リスト

• ProSA: Assessing and Understanding the Prompt Sensitivity of LLMs [72.13489820420726]
  ProSAは、大規模な言語モデルにおいて、迅速な感度を評価し、理解するために設計されたフレームワークである。 我々の研究は、データセットやモデル間で迅速に感度が変動することを発見し、より大きなモデルでは堅牢性が向上することを示した。
  論文  参考訳（メタデータ） (2024-10-16T09:38:13Z)
• A Neural Framework for Generalized Causal Sensitivity Analysis [78.71545648682705]
  本稿では,因果感受性分析のためのニューラルネットワークフレームワークであるNeuralCSAを提案する。 我々は、NeuralCSAが関心の因果クエリに有効な境界を推測できることを理論的に保証する。
  論文  参考訳（メタデータ） (2023-11-27T17:40:02Z)
• How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
  本稿では,関数の感度に基づく包括的即時解析を提案する。 出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。 本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
  論文  参考訳（メタデータ） (2023-11-13T10:52:01Z)
• The Memory Perturbation Equation: Understanding Model's Sensitivity to Data [16.98312108418346]
  本稿では,学習データ中の摂動に対するモデルの感度を関連づけるメモリ・摂動方程式(MPE)を提案する。 実験結果から, トレーニング中に得られた感度推定値を用いて, 未確認試験データの一般化を忠実に予測できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-30T05:12:24Z)
• Sharp Bounds for Generalized Causal Sensitivity Analysis [30.77874108094485]
  観測不能なコンバウンディング下での因果感度解析のための統一的な枠組みを提案する。 これには、(条件付き)平均治療効果、媒介分析および経路分析に対する効果、分布効果が含まれる。 我々の(条件付き)平均治療効果の限界は、因果感受性分析の最近の最適結果と一致する。
  論文  参考訳（メタデータ） (2023-05-26T14:44:32Z)
• Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction [86.15787587540132]
  語彙レベルでモデルの振る舞いを精査する尺度である感度スコアを導入する。 本実験は,感度スコアのランク相関に基づいて,臨床医と分類医の意思決定論理を比較した。
  論文  参考訳（メタデータ） (2022-11-13T23:59:11Z)
• Balancing Robustness and Sensitivity using Feature Contrastive Learning [95.86909855412601]
  堅牢性を促進する方法は、希少なパターンや表現不足パターンに対するモデルの感受性を損なう可能性がある。 本稿では,より高次文脈的有用性を持つ機能に対して,モデルにより敏感な特徴を与える機能コントラスト学習(FCL)を提案する。
  論文  参考訳（メタデータ） (2021-05-19T20:53:02Z)
• Sensitivity as a Complexity Measure for Sequence Classification Tasks [24.246784593571626]
  標準のシーケンス分類法は低感度関数の学習に偏っているため、高感度を必要とするタスクがより困難である。 15のNLPタスクで感度を推定し、単純なテキスト分類タスクよりもGLUEで収集された挑戦的なタスクで感度が高いことを発見した。
  論文  参考訳（メタデータ） (2021-04-21T03:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。