論文の概要: How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation

• arxiv url: http://arxiv.org/abs/2610.05671v1
• Date: Mon, 05 Oct 2026 01:34:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.473888
• Title: How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation
• Title（参考訳）: プロンプト最適化器の高予算化にはどうすればよいか : 騒音適応評価を伴う予算APO
• Abstract要約: BudgetAPOは、まず各被験者にランク付けし、ホルム補正ペアテストで全てのベースラインを破る。 GPT-OSS-20Bでは、GEPAはBudgetAPOの100コールスコアの4.5倍の呼び出しを必要とする。
• 参考スコア（独自算出の注目度）: 11.879148412649053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic prompt optimization (APO) has been widely employed to adapt large language models without updating their weights, yielding promising results. However, existing methods such as GEPA and OPRO assume hundreds to thousands of subject-model calls, far more than is practical behind paid, rate-limited APIs. Under tight budgets they fail in two ways: multi-stage pipelines can exhaust the budget and return the seed prompt unchanged, while single-stage methods compare candidates on fixed-size minibatches, regardless of each task's noise. As a remedy, we introduce BudgetAPO, a single-stage optimizer for the tight-budget regime. BudgetAPO incorporates (1) a noise-adaptive rule that sizes the evaluation slice to each task's noise, measured by a short probe; (2) a fixed slice that turns every accept/reject decision into a paired comparison; and (3) a reflective operator that rewrites reasoning strategy and output format jointly. Extensive results across seven benchmarks and five subject models demonstrate that BudgetAPO ranks first on every subject and beats every baseline under Holm-corrected paired tests, while returning the seed in 13% of runs at 250 calls against 86% for GEPA. On GPT-OSS-20B, GEPA needs 4.5 times as many calls to match BudgetAPO's 100-call score.
• Abstract（参考訳）: 自動プロンプト最適化(APO)は、重みを更新せずに大きな言語モデルを適応するために広く使われており、有望な結果をもたらす。 しかし、GEPAやOPROといった既存の手法では、数十～数千の主題モデル呼び出しを前提としています。 厳格な予算の下では、2つの方法で失敗する: マルチステージパイプラインは予算を浪費し、シードのプロンプトを変更せずに返却し、一方、単一ステージの手法は各タスクのノイズに関係なく、固定サイズのミニバッチの候補を比較する。 本稿では, 厳格な予算体制のための一段階最適化手法であるBudgetAPOを紹介する。 BudgetAPOは,(1)各タスクのノイズに対する評価スライスのサイズを短いプローブで測定するノイズ適応型ルール,(2)全てのアクセプション/リジェクト決定をペア比較に変換する固定スライス,(3)推論戦略と出力形式を共同で書き直す反射演算子を組み込んだ。 7つのベンチマークと5つの被験者モデルにわたる大規模な結果から、BudgetAPOはすべての被験者で第1位となり、Holm補正ペアテストですべてのベースラインを破る一方で、250回のコールで13%のシードを86%のGEPAに対して返却することが示された。 GPT-OSS-20Bでは、GEPAはBudgetAPOの100コールスコアの4.5倍の呼び出しを必要とする。

関連論文リスト

• BPPO: Binary Prefix Policy Optimization for Efficient GRPO-Style Reasoning RL with Concise Responses [48.550535291129584]
  GRPO型推論RLにおいて,全ての完了が等しく有用な更新信号を提供するか否かを検討する。 我々の勾配類似性分析は、同じプロンプト群において、同じクラス補完がしばしば非常に類似した更新方向を誘導することを示している。 本稿では,最短の修正完了と最短の修正完了をコンパクトな更新単位として利用するBPPO(Binary Prefix Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-05-27T06:34:17Z)
• Select Smarter, Not More: Prompt-Aware Evaluation Scheduling with Submodular Guarantees [28.54776477263591]
  本稿では, Prompt-Aware Online Evaluation Scheduling (POES)を提案する。 POESはIRTベースの識別ユーティリティ、施設位置のカバレッジ用語、スイッチングコストを意識したウォームスタートスワップを統一された目的に統合する。 POESは、無視できるトークンオーバーヘッドで、全体的な平均精度(最高のベースラインよりも6.2%改善)が最も高い。
  論文  参考訳（メタデータ） (2026-04-13T11:31:04Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• OptPO: Optimal Rollout Allocation for Test-time Policy Optimization [11.375209834858135]
  テスト時のポリシー最適化により、大規模言語モデルでは、自己生成ロールアウトからのフィードバックを活用することで、分散シフトに適応することができる。 我々は、推論予算を適応的に割り当てる原則的フレームワークであるテスト時間ポリシー最適化のための最適ロールアウト割当(OptPO)を提案する。
  論文  参考訳（メタデータ） (2025-12-02T15:38:52Z)
• BPO: Revisiting Preference Modeling in Direct Preference Optimization [13.243174453617064]
  DPO (Direct Preference Optimization) は、Large Language Models (LLM) を人間の好みに合わせる一般的な手法として登場した。 DPOは、ペアのランク付け損失を通じて、選択された応答と拒否された応答の相対順序を効果的に保持する。 それはしばしば絶対的な報酬の程度を無視し、パフォーマンスを低下させる。 本稿では,選択された応答と拒否された応答の最適化のバランスをとる新しいフレームワークであるBa balanced Preference Optimization (BPO)を提案する。
  論文  参考訳（メタデータ） (2025-06-04T04:21:01Z)
• Reverse Preference Optimization for Complex Instruction Following [61.39734201711077]
  本稿では,Reverse Preference Optimization (RPO) という,シンプルで効果的な手法を提案する。 選択された応答が完璧であることを保証するために、命令内の制約を動的に反転させることで、優先ペアのノイズを緩和する。 RPOはモデルサイズで効果的にスケールし、70B RPOモデルはGPT-4oを超える。
  論文  参考訳（メタデータ） (2025-05-28T09:44:27Z)
• Accelerating RL for LLM Reasoning with Optimal Advantage Regression [52.0792918455501]
  本稿では,最適優位関数を直接近似する新しい2段階ポリシー最適化フレームワークを提案する。 A$*-POは、幅広い数学的推論ベンチマークで競合性能を達成する。 PPO、GRPO、REBELと比較して、トレーニング時間を最大2$times$、ピークメモリ使用率を30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-27T03:58:50Z)
• Preference Optimization by Estimating the Ratio of the Data Distribution [31.298532877678657]
  本稿では,比例マッチングのためのBregman preference Optimization (BPO)を提案する。 BPO は DPO を特別な場合として仮定し、すべてのインスタンスに対して tractable form を提供する。 実験では、$f$-DPOや$f$-POのような他の確率的損失拡張とは異なり、BPOのインスタンスはDPOと比較して勝利率とエントロピーの両方を改善する。
  論文  参考訳（メタデータ） (2025-05-26T07:10:53Z)
• AdaBoN: Adaptive Best-of-N Alignment [26.196944084237852]
  Inference-time計算をより効率的に割り当てるBest-of-Nアライメントのためのプロンプト適応戦略を提案する。 レイテンシの懸念から、我々は2段階のアルゴリズムを開発した。 我々の手法はシンプルで実用的で、どのLM-RM組み合わせとも互換性がある。
  論文  参考訳（メタデータ） (2025-05-17T15:24:48Z)
• RePO: Understanding Preference Learning Through ReLU-Based Optimization [66.098833436503]
  本稿では,ReLUに基づくPreference Optimization (RePO)を提案する。 RePOは、ロジスティック重み付けが二項しきい値に崩壊するSimPOの制限ケース(「infty$」の略)として特徴付けられる。 AlpacaEval 2 と Arena-Hard の実証結果は、RePO が複数のベースモデルで DPO と SimPO を上回っていることを示している。
  論文  参考訳（メタデータ） (2025-03-10T15:11:07Z)
• AlphaDPO: Adaptive Reward Margin for Direct Preference Optimization [45.46582930202524]
  $alpha$-DPOは、大規模言語モデルの適応的優先最適化アルゴリズムである。 ポリシーモデルと参照モデルのバランスを取り、パーソナライズされた報酬マージンを達成する。 さまざまなモデル設定でDPOとSimPOを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-10-14T04:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。