論文の概要: Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study
- arxiv url: http://arxiv.org/abs/2610.13287v1
- Date: Fri, 09 Oct 2026 09:38:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.508255
- Title: Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study
- Title（参考訳）: プロンプト・オプティマイザは、必要条件を満たさないか?
- Abstract要約: プロンプトは1つの目標メトリックを上げるプロンプトを書き直しますが、メトリックが得点しない状態要件も示します。
事前登録された調査では、HotpotQA、SQu 2.0、IFEval上でGEPA、MIPROv2、TextGradを実行し、未承認要件のイテム単位の違反をカウントします。
事前登録された基準により、3つのプロンプトは全て、ほぼHotpotQA上で回帰を生成する。
- 参考スコア（独自算出の注目度）: 0.36013539748644224
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompt optimizers rewrite a prompt to raise one target metric, but prompts also state requirements the metric does not score, such as an output format, citations, or abstention. In a preregistered study, we run GEPA, MIPROv2, and TextGrad on HotpotQA, SQuAD 2.0, and IFEval and count per-item violations of unscored requirements with deterministic checks. By the preregistered criterion, all three optimizers produce regressions, substantially on HotpotQA, where net regression in citation validity reaches 10.7 to 41.6 points while exact match rises by 21 to 34 points. A post-hoc decomposition changes this reading. The optimized prompts elicit reasoning before the required JSON object, and under the 200-token output cap used throughout, 13.9% to 47.0% of responses end before any answer appears. Among parseable outputs, net regression is within 3 points of zero. With a 1,024-token cap, extraction failures disappear, content regression stays below 1 point, and exact match rises further. Two simple gates fail the preregistered criterion. The side effect is narrower than hypothesized: optimized prompts are more accurate and break an explicit output contract, and a lenient target metric does not show the cost.
- Abstract（参考訳）: プロンプトオプティマイザは、目標とするメトリックを1つ上げるプロンプトを書き換えるが、出力フォーマット、引用、棄権といったメトリックがスコアしないという要求も要求する。
事前登録された調査では、HotpotQA、SQuAD 2.0、IFEval上でGEPA、MIPROv2、TextGradを実行し、決定論的チェックで未承認要件のイテム当たりの違反をカウントする。
事前登録された基準により、3つのオプティマイザは基本的にHotpotQA上で回帰し、引用妥当性の純回帰は10.7から41.6ポイントに達し、正確な一致は21から34ポイント上昇する。
ポストホック分解はこの読み方を変える。
この最適化は、必要なJSONオブジェクトの前に推論を誘発し、200トークンの出力上限の下では、答えが現れる前に、応答の13.9%から47.0%が終了する。
パース可能な出力のうち、純回帰はゼロの3点以内である。
1,024の上限を持つと、抽出失敗が消え、コンテンツレグレッションが1ポイント未満にとどまり、正確な一致がさらに増加する。
2つの単純なゲートが事前登録された基準に失敗する。
最適化されたプロンプトはより正確であり、明示的な出力契約を破る。
関連論文リスト
- Scoring the Wrong Question: Readout Failures in Constrained-Option Evaluation [8.13968851214856]
本稿では,複数の選択項目を引用したプロンプトについて検討し,各項目の回答指示に終止符を打つ。
我々は、短いメモのみを与えられた読者モデルが正しく答えるかどうかの予測を求める。
3つのQwen3チェックポイントでは、回答レターが最も可能なトークンである。
論文 参考訳（メタデータ） (2026-09-27T03:58:18Z) - Option-Aware Retrieval and Task-Specific VLM Adaptation for Medical VQA [0.0611737116137921]
We describe our submit to the MedReason 2026 Challenge, covered multiple-choice (MCQ) and open-ended (OE) medical visual questioning (VQA)。
我々の最初の発見は、MCQ検索は、回答ラベルよりも回答表現を比較すべきであるということです。
タスク固有のMCQ Low-Rank Adaptation (LoRA) アダプタを固定し、オンプロンプト検索した例の数(k)を少なくとも1ケースで変更する。
論文 参考訳（メタデータ） (2026-09-14T13:17:42Z) - Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - SPEAR: Selection-aware Personalized End-to-end Adaptive Rewriting and Retrieval for Community Search [16.046037914956504]
1つの障害モードをターゲットにした3つのコンポーネントを統合するSPEARを提案する。
提案されたフレームワークは、書き直しセマンティックな類似性@10を +18.2 で改善し、リコール@10を +99.5 でプロダクションベースラインでクリックする。
論文 参考訳（メタデータ） (2026-08-03T06:03:58Z) - Clarify-Then-Search: A Clarification Benchmark for Deep Search with End-to-End Nugget Restoration [66.89521868638815]
我々は,LLM生成の解明質問が下流の深層探索ユーティリティを改善するかどうかを評価するベンチマークであるClarify-Then-Searchを紹介する。
Baidu検索エンジンの実際のクエリデータに基づいて構築されたこのベンチマークには、518のキュレートされたインスタンスが含まれている。
静的な金に対して部分的にクレジットされた重み付きナゲット・リコールスコアであるrepure_score_100を用いて、エンドツーエンドのユーティリティをスコアする。
論文 参考訳（メタデータ） (2026-06-17T13:16:31Z) - TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。
NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
論文 参考訳（メタデータ） (2025-11-12T23:09:52Z) - TimeStampEval: A Simple LLM Eval and a Little Fuzzy Matching Trick to Improve Search Accuracy [0.0]
TimeStampEvalは、非バーバティムな引用を与えられた長い書き起こしから正確にミリ秒のタイムスタンプを取得するためのベンチマークである。
簡単な2段階法では,推論コストを90%以上削減しながら,検索精度を劇的に向上させる。
モチベーションのユースケースは、議会記録のクリップをAIがホストする動詞のナレーションにまとめる、自動化されたロングフォームポッドキャストである。
論文 参考訳（メタデータ） (2025-10-27T21:54:56Z) - DS@GT at CheckThat! 2025: Evaluating Context and Tokenization Strategies for Numerical Fact Verification [49.1574468325115]
数値的クレーム、量、比較、時間的参照を含むステートメントは、自動化された事実チェックシステムに固有の課題をもたらす。
我々は,QuanTempデータセットを用いて,これらのクレームの精度予測のためのモデリング戦略を評価し,エビデンス検索パイプラインを構築した。
当社のベストパフォーマンスシステムは,競争力のあるマクロ平均F1スコア0.57を達成し,2025年のCheckThatのタスク3におけるトップ4のサブミッションに私たちを配置する。
論文 参考訳（メタデータ） (2025-07-08T17:22:22Z) - Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。
QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。
我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
論文 参考訳（メタデータ） (2024-04-01T09:33:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。