論文の概要: Beyond Aggregate Accuracy: Item-Level Transitions in Prompt Optimization
- arxiv url: http://arxiv.org/abs/2610.19084v1
- Date: Tue, 13 Oct 2026 19:15:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.770412
- Title: Beyond Aggregate Accuracy: Item-Level Transitions in Prompt Optimization
- Title（参考訳）: 集約精度を超えて: プロンプト最適化におけるアイテムレベル遷移
- Abstract要約: 我々は、リカバリ(正しくない)、回帰(正しくない)、チャーン(すべて変化した結果)を追跡するツールを開発する。
RFDPOはこのフィードバックを使ってその後のリビジョンをガイドし、最適化全体を通して変更を促す。
GPT-5 を GPT-4o-mini とし、GPT-4.1 Mini をソルバとして、法、知識、指示追従、数学、プライバシーの5つのベンチマークでRFDPO を評価した。
- 参考スコア（独自算出の注目度）: 1.6615337656760854
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic prompt optimization (APO) uses feedback from model responses to improve prompts automatically. However, its effectiveness is usually measured through overall scores, which do not reveal which questions become correct, which previously correct answers become wrong, or whether improvements extend to unseen questions. We introduce Reflective Feedback-Driven Prompt Optimization (RFDPO), a tool that tracks recoveries (incorrect to correct), regressions (correct to incorrect), and churn (all changed outcomes). RFDPO uses this feedback to guide subsequent revisions and records prompt changes throughout optimization. We evaluate RFDPO across five benchmarks covering law, knowledge, instruction following, mathematics, and privacy, using GPT-5 as the optimizer and GPT-4o-mini and GPT-4.1 Mini as solvers. Our results show that overall accuracy can hide substantial changes: in five of nine configurations, churn was at least five times the absolute net change, and a single-item net change concealed up to 17 changed outcomes. Average validation gains were 7.9 percentage points, compared with 5.2 points on held-out tests. In a controlled ablation on LegalBench-Hearsay, item-level feedback reduced churn by 40% ($p=0.024$) while maintaining similar net gains. These findings motivate reporting recovery, regression, churn, and performance on unseen data alongside overall accuracy.
- Abstract（参考訳）: 自動プロンプト最適化(APO)は、モデル応答からのフィードバックを使用してプロンプトを自動的に改善する。
しかし、その効果は通常、どの質問が正しいか、どの質問が以前正しい答えが間違っているか、あるいは改善が目に見えない質問にまで拡張されるかどうかを明らかにしない総合的なスコアによって測定される。
リフレクティブフィードバック駆動型プロンプト最適化(RFDPO)は、リカバリ(正しくない)、回帰(正しくない)、チャーン(すべての変更結果)を追跡するツールです。
RFDPOはこのフィードバックを使ってその後のリビジョンをガイドし、最適化全体を通して変更を促す。
我々は、GPT-5をオプティマイザとし、GPT-4o-miniとGPT-4.1 Miniをソルバとして、法、知識、命令追従、数学、プライバシーを含む5つのベンチマークでRFDPOを評価した。
その結果,9つの構成のうち5つのチャーンが絶対値の少なくとも5倍であり,最大17個の変更結果が隠蔽された。
平均バリデーション率は7.9ポイント、ホールドアウトテストでは5.2ポイントだった。
LegalBench-Hearsayの制御されたアブレーションでは、アイテムレベルのフィードバックは、同様の純利益を維持しながら、40%(p=0.024$)減った。
これらの知見は、全体の精度とともに、見えないデータに対する報告の回復、回帰、チャーン、およびパフォーマンスを動機付けている。
関連論文リスト
- RSI-Anything: Unlocking Recursive Self-Improvement with World Models [76.79361510862277]
RSI-AnythingはJEPA-Anything上に構築されたドメイン・ジェネラル・フレームワークである。
予測ワールドモデルを使用して、アクションと学習データの選択をガイドする。
コード修復では、コーダーが固定され、静的検証器で成功率は26.3%から予測選択により29.2%に増加する。
論文 参考訳（メタデータ） (2026-10-09T17:50:30Z) - Towards the Generalizability of Leveraging ChatGPT in APR via Self-enhancing: An Empirical Study [17.506299184731866]
本稿では,ChatGPTで強化された3つのAPR手法を3つの有意な長期ベンチマークで評価する。
GPT-3.5-Turboでは、SRepairはDefects4JよりもHumanEval-Javaで絶対的なゲインを達成し、SRepairとFixAgentは外部情報を持たないとBugsInPyで負のゲインを得る。
GPT-5.4-miniでは、評価されたメソッドはHumanEval-JavaよりもDefects4Jで絶対的なゲインを達成する。
論文 参考訳（メタデータ） (2026-09-19T07:28:46Z) - Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization [60.89431018071735]
グループ相対的な優位性を持つ強化学習は、訓練後の言語モデル推論のデファクトスタンダードとなっている。
異なる報酬プロファイルを持つロールアウトは、同じ利点を享受でき、現在の飽和度に関わらず、全ての目的が固定相対重みで最適化されることを示す。
本研究では,各報酬目標を独立に標準化し,目標飽和度をバッチレベルで推定した値に従って貢献を適応的に割引する飽和度認識再重み付けを導入する。
論文 参考訳（メタデータ） (2026-08-17T04:07:50Z) - Coding Agents are Strong Prompt Optimizers [7.9205333979965635]
市販の符号化エージェントが直接最適化されたプロンプトを合成可能であることを示す。
我々はこのアプローチをtextCoding-Agent Skill Distillation (CASD) と呼ぶ。
論文 参考訳（メタデータ） (2026-08-13T11:10:32Z) - FLARE: Few-shot Learning-based Adaptive Reflective Engine [0.9932714016119233]
本稿では,FLARE(Few-shot Learning-based Adaptive Reflective Engine)を紹介する。
我々は,GPT-5シリーズのモデルを用いて,多種多様なベンチマークを対象とする手法の評価を行った。
その結果、FLAREはGEPAより一貫して優れており、各タスクモデルペアで勝っていることがわかった。
論文 参考訳（メタデータ） (2026-08-03T22:13:12Z) - Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。
5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。
全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
論文 参考訳（メタデータ） (2026-07-31T04:02:51Z) - Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
エージェント最適化法で報告されているほとんどの利得はワンショットである。
これは、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントハーネス最適化に対する3つのアプローチを比較する。
論文 参考訳（メタデータ） (2026-07-15T16:36:04Z) - MAGE: Understanding Stability-Performance Trade-offs in Multi-component Prompt Optimization [3.7323766833175718]
MAGE(Memory-Augmented Goal Prompt Evolution)は、コンポーネント間の相互作用を即時最適化する制御分析フレームワークである。
我々の実験は、複数の最適化信号が閉じた反射ループ内で動作しているときに、以前に報告されていない現象である、Prompt Optimization Coupling Effect (POCE)を発見した。
論文 参考訳（メタデータ） (2026-07-11T10:05:58Z) - FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。
各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。
FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-30T10:21:20Z) - Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳（メタデータ） (2026-03-12T19:18:59Z) - Transform-Augmented GRPO Improves Pass@k [50.3707071191733]
グループ相対政策最適化(GRPO)は推論を改善するために設計されたが、2つの障害モードによって状況が悪化する。
本稿では,各質問に対して意味論的に等価な変換変種を生成するTA-GRPO(Transform-Augmented GRPO)を提案する。
このプール化された計算は、元の質問が簡単すぎるか難しすぎる場合でも、混合報酬を保証する一方、多様なフレーズのトレーニングは、複数のソリューション戦略を促進する。
論文 参考訳（メタデータ） (2026-01-30T02:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。