論文の概要: Explore More, Validate Less: Efficient Reflective Prompt Optimization
- arxiv url: http://arxiv.org/abs/2610.27367v1
- Date: Mon, 19 Oct 2026 22:46:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.538662
- Title: Explore More, Validate Less: Efficient Reflective Prompt Optimization
- Title（参考訳）: より詳しく調べて、妥当性を下げる - 効率的な反射型プロンプト最適化
- Abstract要約: 本稿では, 反射型候補プール構築をバリデーションアロケーションから分離するフレームワークを提案する。
100人の候補者と20人の完全なバリデーションによって、私たちのフレームワークは、イニシャルソルバよりも最大11.22ポイント改善されています。
- 参考スコア（独自算出の注目度）: 7.344577590113121
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reflective prompt optimization improves instructions using task feedback, but coupling candidate generation with full-validation-based selection can make search costly and sequential. We propose a two-stage framework that decouples reflective candidate-pool construction from validation allocation. During construction, we sample multiple parents and reuse each parent's training responses across parallel reflection branches. Each revision is screened against its parent on a small training minibatch, allowing locally improved candidates to support further revisions without full validation. After construction, an exploration policy selects candidates from the frozen pool under a fixed full-validation budget, and the prompt with the highest measured validation score is returned. This separation allows candidate-pool size and validation budget to be set independently. We evaluate random selection and learned score prediction with similarity-based exploration on five benchmarks using Qwen3.5-9B and Llama-3.1-8B-Instruct. With 100 retained candidates and 20 full validations, our framework improves over the initial solver by up to 11.22 percentage points. Learned selection improves over the initial solver in all ten comparisons, although neither selection policy consistently outperforms the other. These results support separating reflective search from budgeted validation while leaving room for stronger candidate-selection policies.
- Abstract（参考訳）: リフレクティブ・プロンプトの最適化はタスクフィードバックによる指示を改善するが、フルバリデーションベースの選択と結合した候補生成は、探索をコストとシーケンシャルに行うことができる。
そこで本研究では,反射型候補プール構築をバリデーションアロケーションから分離する2段階のフレームワークを提案する。
建設中、複数の親をサンプリングし、並列反射枝にまたがる各親のトレーニング応答を再利用した。
各リビジョンは、小さなトレーニングミニバッチで親に対してスクリーニングされ、ローカルに改善された候補が、完全なバリデーションなしでさらなるリビジョンをサポートすることができる。
建設後、固定されたフルバリデーション予算の下で凍結プールから候補を選定し、最も高い評価スコアのプロンプトを返却する。
この分離により、候補プールのサイズと検証予算を独立して設定できる。
我々は,Qwen3.5-9BとLlama-3.1-8B-Instructを用いて,類似度に基づく5つのベンチマークによるランダム選択と学習スコア予測の評価を行った。
100人の候補者と20人の完全なバリデーションによって、私たちのフレームワークは、イニシャルソルバよりも最大11.22ポイント改善されています。
学習された選択は、10つの比較すべてにおいて初期解法よりも改善されるが、どちらの選択ポリシーも相反する。
これらの結果は、より強力な候補選択ポリシーの余地を残しながら、予算付き検証から反射探索を分離することを支援する。
関連論文リスト
- ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。
GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。
限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。
ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
論文 参考訳（メタデータ） (2026-10-17T07:19:05Z) - MARCO: Multi-Round Agentic Reinforcement for Conditional Molecular Optimization [54.020314646710204]
我々は分子エディターを訓練する評価器を用いた強化学習フレームワークであるMARCOを紹介する。
MARCOは、形をしたターン報酬を、グループ相対的なポリシー最適化のための未公表の軌道リターンに集約する。
このトレーニングの結果は,一応の予算でトレーニングされたポリシをテストし,同じポリシが検証者フィードバックを利用できるかどうかをSame-5でテストする,という2つの結果が得られた。
論文 参考訳（メタデータ） (2026-09-29T04:21:05Z) - LLM-as-an-Improver: Turning Verification into Better Candidates [9.238700679836855]
LLM-as-an-Improverと提案--repair-Reselect(VRR)を導入する。
VRRは最初の勝者を保持し、条件付きで3つの補完的な選択肢を生成する。
多様なモデルやコード生成、推論ベンチマークを通じて、VRRは多くの設定で固定プール検証ベースの選択よりも改善されている。
論文 参考訳（メタデータ） (2026-09-17T00:05:25Z) - EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。
EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
論文 参考訳（メタデータ） (2026-09-02T21:00:35Z) - Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。
$textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
論文 参考訳（メタデータ） (2026-08-20T15:24:54Z) - Select Smarter, Not More: Prompt-Aware Evaluation Scheduling with Submodular Guarantees [28.54776477263591]
本稿では, Prompt-Aware Online Evaluation Scheduling (POES)を提案する。
POESはIRTベースの識別ユーティリティ、施設位置のカバレッジ用語、スイッチングコストを意識したウォームスタートスワップを統一された目的に統合する。
POESは、無視できるトークンオーバーヘッドで、全体的な平均精度(最高のベースラインよりも6.2%改善)が最も高い。
論文 参考訳（メタデータ） (2026-04-13T11:31:04Z) - Duel-Evolve: Reward-Free Test-Time Scaling via LLM Self-Preferences [7.715856473694668]
このアルゴリズムは、外部スカラー報酬を、候補を生成するのに使用するLLMと同じLLMから得られるペアの選好に置き換えるものである。
Duel-Evolveはベイジアン・ブラッドリー・テリーモデルを通じてノイズの多い候補比較を集計し、候補品質の不確実性を考慮した推定結果を得る。
既存のメソッドやベースラインよりも20パーセント高い精度でDuel-Evolveを、LiveCodeBenchでは12パーセント以上改善した。
論文 参考訳（メタデータ） (2026-02-25T05:16:11Z) - A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。
合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。
実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。
高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
論文 参考訳（メタデータ） (2024-12-18T15:38:39Z) - Rationale-Aware Answer Verification by Pairwise Self-Evaluation [11.763229353978321]
信頼性のある検証器の訓練には,最終回答の正しさに加えて,有理数の有効性の確保が必要であることを示す。
本結果から, 信頼性検証には, 正解の正確性に加えて, 有理数の有効性の確保が必要であることが示唆された。
論文 参考訳（メタデータ） (2024-10-07T08:53:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。