論文の概要: AdaGEPA: Adaptive Feedback Allocation for Reflective Prompt Optimization

• arxiv url: http://arxiv.org/abs/2609.39927v1
• Date: Wed, 30 Sep 2026 15:13:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.965752
• Title: AdaGEPA: Adaptive Feedback Allocation for Reflective Prompt Optimization
• Title（参考訳）: AdaGEPA: 反射プロンプト最適化のための適応的なフィードバック割り当て
• Abstract要約: 本稿では,AdaGEPAを提案する。AdaGEPAは,プロンプトの性能とタスク構造を利用して,次のプロンプトリビジョンの例を選択する適応型フィードバックアロケーション手法である。 本研究は,適応的フィードバックアロケーションの可能性を強調し,反射的プロンプト最適化の有効性とロールアウト予算効率を両立させるものである。
• 参考スコア（独自算出の注目度）: 9.155646304829263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt optimization improves the performance of language-model systems on downstream tasks by refining their prompts. Classical methods evaluate prompts on task examples and use the resulting feedback to guide prompt revisions through reflection. However, when feedback selection does not account for the prompt's weaknesses, these revisions may improve performance on selected examples without yielding broader task improvements. To address this issue, we propose AdaGEPA, an adaptive feedback-allocation method that uses the prompt's performance and task structure to select examples for the next prompt revision. Our method replaces at most one example in each feedback minibatch to target an identified weakness while preserving the remaining feedback context. Across our main experiments on six downstream benchmarks, AdaGEPA achieves higher mean validation scores than non-adaptive feedback selection under matched rollout budgets. AdaGEPA also finds high-performing prompts earlier across several tasks. In the initial Schema-Guided Dialogue (SGD) study, its half-budget prompts outperform the non-adaptive baseline's full-budget prompts in joint goal accuracy on new dialogues from services seen and unseen during search. Overall, our findings highlight the potential of adaptive feedback allocation to improve both the effectiveness and rollout-budget efficiency of reflective prompt optimization.
• Abstract（参考訳）: プロンプト最適化により、下流タスクにおける言語モデルシステムの性能が向上する。 古典的な手法はタスクの例でプロンプトを評価し、その結果のフィードバックを使ってリフレクションを通じてプロンプトのリフレクションをガイドする。 しかし、フィードバックの選択がプロンプトの弱点を考慮しない場合、これらのリビジョンはより広範なタスク改善をもたらすことなく、選択した例のパフォーマンスを改善する可能性がある。 そこで本稿では,AdaGEPAを提案する。AdaGEPAは,プロンプトの性能とタスク構造を利用して,次のプロンプトリビジョンの例を選択する適応型フィードバックアロケーション手法である。 提案手法は,各フィードバックの最小限の例を1つに置き換えて,残りのフィードバックコンテキストを保ちながら,識別された弱点を目標とする。 AdaGEPAは、6つのダウンストリームベンチマークに関する主要な実験の中で、マッチしたロールアウト予算の下での非適応的なフィードバック選択よりも高い平均検証スコアを達成しています。 AdaGEPAはまた、いくつかのタスクで早くも高いパフォーマンスのプロンプトを見つけた。 Schema-Guided Dialogue (SGD) の最初の研究において、その半予算は非適応的ベースラインのフル予算よりも優れており、検索中に目に見えないサービスからの新たな対話に対する共同目標精度が向上する。 全体として,適応的なフィードバックアロケーションが,反射的プロンプト最適化の有効性とロールアウト予算効率を両立させる可能性を強調した。

関連論文リスト

• Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts [22.060204303535187]
  システムプロンプトは、現代のAIシステムにおいて中心的な制御メカニズムであり、会話、タスク、ユーザ集団間での振る舞いを形作る。 本研究では,この集合フィードバック設定を,個別の可変長テキストに対するサンプル制約付きブラックボックス最適化として検討する。 本稿では,ベイズ最適化フレームワークReElicitを紹介する。
  論文  参考訳（メタデータ） (2026-05-18T20:28:17Z)
• RASPRef: Retrieval-Augmented Self-Supervised Prompt Refinement for Large Reasoning Models [0.0]
  本稿では,人間のアノテーションやタスク固有の監督を必要とせず,プロンプトを改善するフレームワークであるRetrieval-Augmented Self-Supervised Prompt Refinement (RASPRef)を紹介する。 RASPRefは、プロンプトを最適化ターゲットとして直接扱い、反復的な検索誘導処理により改善する。
  論文  参考訳（メタデータ） (2026-03-27T21:49:21Z)
• Better by Comparison: Retrieval-Augmented Contrastive Reasoning for Automatic Prompt Optimization [6.3914079241545885]
  提案するCRPO(Contrastive Reasoning Prompt Optimization)は,検索強化推論プロセスとして迅速な最適化を定式化する新しいフレームワークである。 提案手法では,HelpSteer2データセットからトップk参照プロンプト-レスポンスペアを検索する。 CRPOは、高品位と低品位を明示的に対比することにより、あるプロンプトが成功する理由を推論し、他のプロンプトが失敗する理由を推測することを可能にする。
  論文  参考訳（メタデータ） (2025-09-02T08:45:29Z)
• On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
  エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。 推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。 本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Efficient and Accurate Prompt Optimization: the Benefit of Memory in Exemplar-Guided Reflection [19.020514286500006]
  本稿では,より効率的かつ正確なプロンプト最適化を実現するために,メモリ機構を備えたExemplar-Guided Reflectionを提案する。 具体的には、生成した例によってフィードバック生成がさらにガイドされるような、模擬誘導反射機構を設計する。 実験的な評価により,提案手法は従来の最先端技術よりも少ない最適化手順で優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-12T00:07:29Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Prompt Optimization with Human Feedback [69.95991134172282]
  人間のフィードバックによる迅速な最適化問題(POHF)について検討する。 我々は自動POHF(Automatic POHF)というアルゴリズムを導入する。 その結果、APOHFは、少数の好みフィードバックインスタンスを用いて、効率的に適切なプロンプトを見つけることができることがわかった。
  論文  参考訳（メタデータ） (2024-05-27T16:49:29Z)
• Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。 本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。 この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
  論文  参考訳（メタデータ） (2023-05-23T11:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。