論文の概要: One prompt is not enough: Instruction Sensitivity Undermines Embedding Model Evaluation
- arxiv url: http://arxiv.org/abs/2605.22544v1
- Date: Thu, 21 May 2026 14:27:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:42.299327
- Title: One prompt is not enough: Instruction Sensitivity Undermines Embedding Model Evaluation
- Title（参考訳）: インストラクション感受性はモデル評価の埋め込みを弱める
- Authors: Yevhen Kostiuk, Kenneth Enevoldsen,
- Abstract要約: 6つの埋め込みモデル、11のデータセット、および15のタスク固有のプロンプトにまたがる、迅速な感度に関する実証的研究を示す。
報告されたスコアは、可算なプロンプト上のスコアの分布を誤って表現していることを示す。
本研究の結果から, 単発型埋め込みモデルでは単発型評価が不十分であることが示唆された。
- 参考スコア（独自算出の注目度）: 0.7820105843726323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Instruction embedding models have become common among state-of-the-art models, however are evaluated using a single prompt per task. The single-point evaluation ignores a main problem of the instruction-based approach namely: sensitivity to the phrasing of the instruction. We present an empirical study of prompt sensitivity across 6 embedding models, 11 datasets, and 15 task-specific prompts per dataset, a total of 990. We show that reported scores misrepresent the distribution of scores over plausible prompts. The default prompt can both systematically understate or overstate performance. Furthermore, we show that the leaderboard ranking is not robust to prompt selection: by choosing prompts favorably, any model in our study can be promoted to first place. Our findings suggest that single-prompt evaluation is insufficient for instruction-tuned embedding models and that benchmarks should incorporate prompt robustness, either by evaluating over multiple prompts or by reporting sensitivity alongside point estimates.
- Abstract（参考訳）: インストラクション埋め込みモデルは最先端モデルでは一般的なものとなっているが、タスク毎に1つのプロンプトを用いて評価される。
単一点評価は、命令ベースのアプローチの主な問題を無視している。
6つの埋め込みモデル、11のデータセット、15のタスク固有のプロンプト、合計990。
報告されたスコアは、可算なプロンプト上のスコアの分布を誤って表現していることを示す。
デフォルトのプロンプトは、体系的にアンダーステートまたはオーバーステートのパフォーマンスの両方が可能である。
さらに、リーダーボードのランキングは、選択を促すために堅牢ではないことを示し、プロンプトの選択を好意的に行うことで、我々の研究のどのモデルでも第一位に昇格できることを示した。
この結果から, 単発評価は命令調整型埋め込みモデルでは不十分であり, ベンチマークは複数のプロンプトを超越した評価や, 点推定とともに感度を報告することによって, 即時ロバスト性を取り入れるべきであることが示唆された。
関連論文リスト
- DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation [49.98710755440242]
蒸留により、コンパクトなビジョンランゲージモデル(VLM)が強力な推論能力を得ることができる。
標準チャート/文書推論データセットにおけるプロンプトの最大69%は、事実上ゼロデルタである。
既存のデータセットをシードとして再利用し、学生の障害モードを積極的にターゲットとして、より良いプロンプトを生成するためのステージド合成パイプラインを提案する。
論文 参考訳（メタデータ） (2026-05-15T02:04:12Z) - Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts [7.208567411886273]
近年の研究では、自然言語のプロンプトが、二項文レベルの感情分類タスクにおいて、事前学習された言語モデルによって学習された知識を活用できることが示されている。
本研究の目的は、ゼロショット設定で与えられたタスクに対する高品質なプロンプトを見つけることである。
本研究は,二分文レベルの感情分類タスクにおいて,最上位のプロンプトが高品質で,基本プロンプトと少数ショット学習を用いて生成したプロンプトを著しく上回っていることを実証的に示す。
論文 参考訳（メタデータ） (2023-05-25T03:36:43Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T12:28:25Z) - Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models [48.77653835765705]
そこでは,まず下位分布から潜在ベクトルをサンプリングし,次に軽量な生成モデルを用いてラベル固有のプロンプトを階層的に生成する。
提案手法の有効性は,少数ショット画像認識,ベース・ツー・ニュージェネリゼーション,データセット転送学習,ドメインシフトの4つのタスクで評価する。
論文 参考訳（メタデータ） (2023-03-16T06:09:15Z) - A Simple Zero-shot Prompt Weighting Technique to Improve Prompt
Ensembling in Text-Image Models [30.128204719490856]
我々は,プロンプトエンジニアリングの自動化と,プロンプトアンサンブルによるゼロショット精度の向上を目指している。
我々は,事前学習およびテストデータに偏りがあるため,スコアが容易に過信されるような,素早いプロンプトスコア法において,いくつかの病理を同定する。
本手法では,提案手法を用いて平均アンサンブルを重み付けし,平均アンサンブルと手作りプロンプトとを比較検討した。
論文 参考訳（メタデータ） (2023-02-13T10:19:58Z) - Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。
プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
論文 参考訳（メタデータ） (2022-12-08T02:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。