論文の概要: ESPO: Error-Structured Prompt Optimization via Diagnose, Diversify, and Stabilize
- arxiv url: http://arxiv.org/abs/2609.04197v1
- Date: Thu, 03 Sep 2026 17:59:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.202114
- Title: ESPO: Error-Structured Prompt Optimization via Diagnose, Diversify, and Stabilize
- Title（参考訳）: ESPO: 診断・多様化・安定化によるエラー構造化プロンプト最適化
- Abstract要約: ESPOは、迅速な最適化を3つのフェーズに分解する: クラスターを1ラウンドで全てのトレーニングエラーを診断する; Proposeは、独立バイアスを持つ4つの補完戦略を介して候補を生成する; Selectはブートストラップの安定性を適用する。
7つのパブリックNLPベンチマークでは、ESPOは最先端技術(GEPAでは74.67%対70.91%)よりも平均精度を$3.76 ppで改善している。
- 参考スコア（独自算出の注目度）: 21.715943293929296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evolutionary prompt optimizers such as GEPA suffer from prompt bloat: each iteration appends rules and caveats, producing prompts up to 3$\times$ longer yet no more accurate. We trace this to three deficiencies - incomplete error observation, limited search diversity, and unreliable selection - and propose ESPO (Error-Structured Prompt Optimization), which decomposes prompt optimization into three phases: Diagnose clusters all training errors into structural patterns in one round; Propose generates candidates via four complementary strategies with independent biases; Select applies bootstrap stability selection. On seven public NLP benchmarks - Tweet, MMLU, GSM8K, HotpotQA, ScoNe, HoVer, and PUPA - ESPO improves average accuracy by $+$3.76 pp over the state-of-the-art (74.67% vs 70.91% for GEPA), matching or exceeding GEPA on every dataset while producing prompts 47% shorter (1,004 vs 1,878 chars) and faster at inference. Cross-model experiments across four additional student models (Gemma 3 12B, Mistral 14B, Qwen3 32B, Claude Haiku 4.5) show ESPO yields the best average accuracy on every model tested, with the largest gap on Qwen3 GSM8K (15.00% $\to$ 91.40%). A generalization bound (Appendix) grounds each phase in a corresponding term of the test-time gap, and the ablation confirms a key prediction: adding diversity without bootstrap selection actually hurts performance ($-$1.20%).
- Abstract（参考訳）: GEPAのような進化的プロンプトオプティマイザは急激な肥大に悩まされ、各イテレーションはルールと注意点を付加し、最大3$\times$以上のプロンプトを生成するが、もはや正確ではない。
我々は,これらを3つの欠陥 – 不完全なエラー観察,検索の多様性の制限,信頼性の低い選択 – に追従し,迅速な最適化を3つのフェーズに分解するESPO (Error-Structured Prompt Optimization) を提案する。
Tweet、MMLU、GSM8K、HotpotQA、ScoNe、HoVer、PUPAの7つの公開NLPベンチマークでは、ESPOは最先端(GEPAは74.67%対70.91%)よりも平均精度を$3.76 ppで改善し、各データセット上でGEPAをマッチングまたは超過し、プロンプトを47%短縮する(1,004対1,878 chars)。
4つの追加の学生モデル(Gemma 3 12B、Mistral 14B、Qwen3 32B、Claude Haiku 4.5)にわたるクロスモデル実験では、ESPOはテストされた全てのモデルで最高の平均精度を示し、Qwen3 GSM8Kで最大のギャップがある。
一般化境界 (Appendix) はテスト時間ギャップの対応する項で各フェーズを基底とし、アブレーションは重要な予測を裏付ける: ブートストラップの選択なしで多様性を追加することは、実際にパフォーマンスを損なう(-$1.20%)。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - MAGE: Understanding Stability-Performance Trade-offs in Multi-component Prompt Optimization [3.7323766833175718]
MAGE(Memory-Augmented Goal Prompt Evolution)は、コンポーネント間の相互作用を即時最適化する制御分析フレームワークである。
我々の実験は、複数の最適化信号が閉じた反射ループ内で動作しているときに、以前に報告されていない現象である、Prompt Optimization Coupling Effect (POCE)を発見した。
論文 参考訳（メタデータ） (2026-07-11T10:05:58Z) - Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study [48.83701310501069]
本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。
我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。
我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
論文 参考訳（メタデータ） (2026-06-18T20:51:42Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳（メタデータ） (2026-06-01T04:43:36Z) - Parameter-Efficient Neuroevolution for Diverse LLM Generation: Quality-Diversity Optimization via Prompt Embedding Evolution [13.891522069967507]
大規模言語モデルはモード崩壊を示し、有効解空間の探索に失敗する均一な出力を生成する。
本稿では,素早い埋め込みを進化させるパラメータ効率のよい神経進化の枠組みであるQD-LLMを提案する。
HumanEval (164問題)では、QD-LLMはQDAIFよりも46.4%、QD-Scoreは41.4%高い。
論文 参考訳（メタデータ） (2026-05-10T22:00:15Z) - Adaptive Consensus in LLM Ensembles via Sequential Evidence Accumulation: Automatic Budget Identification and Calibrated Commit Signals [0.0]
DASEは、ベンチマークをまたいで一般化するコミット型ルーティングパーティションを生成する。
インジェクション帯域ではなく、適応的な停止が正確さを駆動する。
インジェクションベースの手法は、逆Uの精度-vs-推論軌道を示す。
論文 参考訳（メタデータ） (2026-05-05T19:24:10Z) - When Correct Isn't Usable: Improving Structured Output Reliability in Small Language Models [2.064923532131528]
デプロイされた言語モデルは、正しいものとフォーマットに準拠した出力を生成する必要がある。
本稿では,GSM8KとMATHという2つの数学的ベンチマークを用いて,この構造化出力信頼性ギャップについて検討する。
対象モデルへのブラックボックスAPIアクセスのみを必要とする反復的なシステムプロンプトであるAloLabを開発した。
論文 参考訳（メタデータ） (2026-05-04T09:07:44Z) - ContraPrompt: Contrastive Prompt Optimization via Dyadic Reasoning Trace Analysis [0.6372261626436676]
ContraPromptは、モデルが失敗してもフィードバックで再試行を成功させる場合、その差が最適化信号を構成するという観測に基づいて構築される。
従来のコントラスト法とは異なり、完全な中間的推論過程を比較する。
ContraPromptは11日にGEPAを41で破り、同じ予算で1で敗れた。
論文 参考訳（メタデータ） (2026-04-20T08:17:15Z) - S*: Test Time Scaling for Code Generation [55.11863577956177]
コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。
S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
論文 参考訳（メタデータ） (2025-02-20T09:18:53Z) - Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。
Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。
以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
論文 参考訳（メタデータ） (2024-06-26T17:43:06Z) - Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文 参考訳（メタデータ） (2024-05-01T17:59:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。