論文の概要: One prompt is not enough: Instruction Sensitivity Undermines Embedding Model Evaluation

• arxiv url: http://arxiv.org/abs/2605.22544v1
• Date: Thu, 21 May 2026 14:27:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.299327
• Title: One prompt is not enough: Instruction Sensitivity Undermines Embedding Model Evaluation
• Title（参考訳）: インストラクション感受性はモデル評価の埋め込みを弱める
• Abstract要約: 6つの埋め込みモデル、11のデータセット、および15のタスク固有のプロンプトにまたがる、迅速な感度に関する実証的研究を示す。 報告されたスコアは、可算なプロンプト上のスコアの分布を誤って表現していることを示す。 本研究の結果から, 単発型埋め込みモデルでは単発型評価が不十分であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.7820105843726323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction embedding models have become common among state-of-the-art models, however are evaluated using a single prompt per task. The single-point evaluation ignores a main problem of the instruction-based approach namely: sensitivity to the phrasing of the instruction. We present an empirical study of prompt sensitivity across 6 embedding models, 11 datasets, and 15 task-specific prompts per dataset, a total of 990. We show that reported scores misrepresent the distribution of scores over plausible prompts. The default prompt can both systematically understate or overstate performance. Furthermore, we show that the leaderboard ranking is not robust to prompt selection: by choosing prompts favorably, any model in our study can be promoted to first place. Our findings suggest that single-prompt evaluation is insufficient for instruction-tuned embedding models and that benchmarks should incorporate prompt robustness, either by evaluating over multiple prompts or by reporting sensitivity alongside point estimates.
• Abstract（参考訳）: インストラクション埋め込みモデルは最先端モデルでは一般的なものとなっているが、タスク毎に1つのプロンプトを用いて評価される。 単一点評価は、命令ベースのアプローチの主な問題を無視している。 6つの埋め込みモデル、11のデータセット、15のタスク固有のプロンプト、合計990。 報告されたスコアは、可算なプロンプト上のスコアの分布を誤って表現していることを示す。 デフォルトのプロンプトは、体系的にアンダーステートまたはオーバーステートのパフォーマンスの両方が可能である。 さらに、リーダーボードのランキングは、選択を促すために堅牢ではないことを示し、プロンプトの選択を好意的に行うことで、我々の研究のどのモデルでも第一位に昇格できることを示した。 この結果から, 単発評価は命令調整型埋め込みモデルでは不十分であり, ベンチマークは複数のプロンプトを超越した評価や, 点推定とともに感度を報告することによって, 即時ロバスト性を取り入れるべきであることが示唆された。

関連論文リスト

• A Probe Direction Is a Property of Its Prompt [0.0]
  テストされていると感じたときに異なる振る舞いをするモデルは、私たちが依存している評価を損なうことになります。 標準楽器は、実行しないプロンプトに対する評価をアナウンスするプロンプトのアクティベーションとは対照的である。 評価をアナウンスするプロンプト」はプロンプトではなく、多くの人にとって選択肢である。
  論文  参考訳（メタデータ） (2026-08-13T14:57:37Z)
• Spurious Prompts: Can Irrelevant Prompts Steer Large Language Models? [17.170800056387044]
  大規模言語モデルはプロンプトに非常に敏感である。 この感度は、通常、タスク関連命令、実演、推論の手がかりを通して研究される。 私たちは刺激的なプロンプトを呼び、彼らの驚くべき効果を示します。
  論文  参考訳（メタデータ） (2026-05-28T09:39:44Z)
• PromptAudit: Auditing Prompt Sensitivity in LLM-Based Vulnerability Detection [11.513151833477837]
  我々は,1000台のCVE上での5つのオープンウェイトモデルにまたがる5つのプロンプト戦略を用いて,精度,リコール,棄権,カバレッジ,有効F1を評価する。 標準的なチェーン・オブ・シグネリングが、最も高い全体的な運用パフォーマンスを達成することが分かっています。 アダプティブ・チェーン・オブ・シントはリコールを頻繁に抑制し、自己整合性は過剰な棄権を引き起こす。
  論文  参考訳（メタデータ） (2026-05-22T19:44:51Z)
• DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation [49.98710755440242]
  蒸留により、コンパクトなビジョンランゲージモデル(VLM)が強力な推論能力を得ることができる。 標準チャート/文書推論データセットにおけるプロンプトの最大69%は、事実上ゼロデルタである。 既存のデータセットをシードとして再利用し、学生の障害モードを積極的にターゲットとして、より良いプロンプトを生成するためのステージド合成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-15T02:04:12Z)
• On the Role of Attention in Prompt-tuning [90.97555030446563]
  本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。 ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。 また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
  論文  参考訳（メタデータ） (2023-06-06T06:23:38Z)
• Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts [7.208567411886273]
  近年の研究では、自然言語のプロンプトが、二項文レベルの感情分類タスクにおいて、事前学習された言語モデルによって学習された知識を活用できることが示されている。 本研究の目的は、ゼロショット設定で与えられたタスクに対する高品質なプロンプトを見つけることである。 本研究は,二分文レベルの感情分類タスクにおいて,最上位のプロンプトが高品質で,基本プロンプトと少数ショット学習を用いて生成したプロンプトを著しく上回っていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-05-25T03:36:43Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models [48.77653835765705]
  そこでは,まず下位分布から潜在ベクトルをサンプリングし,次に軽量な生成モデルを用いてラベル固有のプロンプトを階層的に生成する。 提案手法の有効性は,少数ショット画像認識,ベース・ツー・ニュージェネリゼーション,データセット転送学習,ドメインシフトの4つのタスクで評価する。
  論文  参考訳（メタデータ） (2023-03-16T06:09:15Z)
• A Simple Zero-shot Prompt Weighting Technique to Improve Prompt Ensembling in Text-Image Models [30.128204719490856]
  我々は,プロンプトエンジニアリングの自動化と,プロンプトアンサンブルによるゼロショット精度の向上を目指している。 我々は,事前学習およびテストデータに偏りがあるため,スコアが容易に過信されるような,素早いプロンプトスコア法において,いくつかの病理を同定する。 本手法では,提案手法を用いて平均アンサンブルを重み付けし,平均アンサンブルと手作りプロンプトとを比較検討した。
  論文  参考訳（メタデータ） (2023-02-13T10:19:58Z)
• Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good movie, and a good prompt too? [84.91689960190054]
  大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。 特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
  論文  参考訳（メタデータ） (2022-12-20T18:47:13Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• How Many Data Points is a Prompt Worth? [106.76346863035786]
  プロンプトの支持者は、タスク固有のガイダンスを注入する方法を提供すると主張している。 多くのタスクとデータサイズで、インセンティブとヘッドベースの微調整を等しく比較した。 その結果、プロンプトは分類タスク全体で平均100のデータポイントの価値があります。
  論文  参考訳（メタデータ） (2021-03-15T16:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。