Fugu-MT 論文翻訳(概要): Coding Agents are Strong Prompt Optimizers

論文の概要: Coding Agents are Strong Prompt Optimizers

arxiv url: http://arxiv.org/abs/2609.26261v1
Date: Thu, 13 Aug 2026 11:10:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-28 05:09:55.948222
Title: Coding Agents are Strong Prompt Optimizers
Title（参考訳）: コーディングエージェントは強いプロンプト最適化剤である
Abstract要約: 市販の符号化エージェントが直接最適化されたプロンプトを合成可能であることを示す。我々はこのアプローチをtextCoding-Agent Skill Distillation (CASD) と呼ぶ。
参考スコア（独自算出の注目度）: 7.9205333979965635
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Search-based prompt optimizers improve prompts through iterative search: they propose edits, execute fresh rollouts, score the resulting trajectories, and retain only edits that improve a validation metric. We show that this optimization loop is unnecessary. Given only a static corpus of agent trajectories, an off-the-shelf coding agent can directly synthesize an optimized prompt, requiring neither environment access nor validation data. We call this approach \textit{Coding-Agent Skill Distillation} (CASD). The key insight is reflection scope. Rather than reasoning over a small batch of trajectories at each optimization step, the coding agent writes and executes analysis code to compute corpus-wide statistics, identifies systematic failure modes, inspects representative episodes, and distills the resulting insights into behavioral rules. Across four agentic benchmarks (ALFWorld, $τ^2$-bench retail and telecom, and SpreadsheetBench-Verified), under matched data access, a single CASD pass outperforms GEPA, a state-of-the-art reflective prompt optimizer, on three of four benchmarks and outperforms validation-gated reflective search (SkillOpt) on all four, improving the unoptimized baseline by 16.6 percentage points on average versus 10.9 for GEPA and 5.3 for SkillOpt. Because CASD performs a single offline analysis pass rather than iterative search, producing an optimized prompt costs approximately \$1.60---over $22\times$ cheaper than validation-gated search. Even when competing methods are granted additional validation data and unrestricted environment access, CASD remains ahead on two of four benchmarks. These results suggest that corpus-scale statistical reflection is a viable alternative to iterative search for prompt optimization.
Abstract（参考訳）: 検索ベースのプロンプトオプティマイザは、反復検索を通じてプロンプトを改善し、編集を提案し、新しいロールアウトを実行し、その結果のトラジェクトリをスコアし、検証基準を改善する編集のみを保持する。この最適化ループは不要であることを示す。エージェントトラジェクトリの静的コーパスのみを前提として、オフザシェルフコーディングエージェントは、環境アクセスもバリデーションデータも必要とせず、最適化されたプロンプトを直接合成することができる。このアプローチを,CASD (textit{Coding-Agent Skill Distillation) と呼ぶ。重要な洞察は、リフレクションスコープである。コーディングエージェントは、最適化の各ステップで少量のトラジェクトリを推論する代わりに、解析コードを書いて実行し、コーパス全体の統計を計算し、体系的な障害モードを特定し、代表エピソードを検査し、結果として得られる洞察を行動規則に精査する。 4つのエージェントベンチマーク(ALFWorld、$τ^2$-bench retail and telecom、およびSpreadsheetBench-Verified)において、一致したデータアクセスの下で、1つのCASDパスが4つのベンチマークのうち3つの状態の反射的プロンプトオプティマイザであるGEPAを上回り、4つのベンチマークのうち3つは検証式反射的サーチ(SkillOpt)を上回り、最適化されていないベースラインを平均で16.6%改善し、GEPAは10.9ポイント、SkillOptは5.3ポイントとした。 CASDは反復探索ではなく単一のオフライン解析パスを実行するため、最適化されたプロンプトのコストは約1.60ドルであり、バリデーション付き検索よりも22\times$安い。競合するメソッドに追加の検証データと制限のない環境アクセスが与えられても、CASDは4つのベンチマークのうち2つに先んじている。これらの結果から, コーパススケールの統計反射は, 即時最適化のための反復探索の代替となる可能性が示唆された。

関連論文リスト

EAVer: Long-Form Factuality Verification as an End-to-End Agentic Policy [50.665874114632]
我々は、完全な応答レベルの検証ワークフローを統一ポリシーとして制御することを学ぶ、エンドツーエンドのエージェント検証であるEAVerを紹介する。 EAVerはセマンティック関連クレームをグループ化し、信頼に基づいた直接検証やターゲット検索にルートし、コンパクトなインコンテキストメモで検索によって返される証拠を保持する。
論文参考訳（メタデータ） (2026-09-02T21:00:35Z)
Can Bayesian Optimization Efficiently Find a Strong Single Expert in Neural Thickets? [44.39621309549252]
本研究では,サロゲート誘導探索により,勾配のないポストトレーニングの評価コストを大幅に削減できることを示す。提案手法はバックプロパゲーションを必要とせず,ガウス過程を用いて効率よく候補評価を導出する。これらの結果から, シュロゲート誘導探索は, より強力な単一専門家を育成しながら, 勾配のないポストトレーニングの評価コストを大幅に削減できることが示された。
論文参考訳（メタデータ） (2026-08-11T12:41:49Z)
RLMOpt: Adaptive Prompt Optimization via Recursive Language Models [0.023287537590495223]
我々は、検索ポリシー自体を言語モデル駆動にするプロンプトであるRLMOptを紹介する。構造化された臨床情報抽出(Chia)、マルチホップ質問応答(HotpotQA)、命令追従(IFBench-2025)、マルチターンツール呼び出しエージェント(BFCL)の4つのベンチマークでRLMOptを評価した。
論文参考訳（メタデータ） (2026-08-11T04:35:05Z)
Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering [30.567931362297553]
我々は,多次元の人的判断に基づく最初の専門家による基準のない評価ベンチマークであるBinJudgeBenchを紹介する。 BinJudgeは、人間の専門家との相関を4.5%-24.7%改善し、APIコストを0.06$times$-0.84$times$に削減する。
論文参考訳（メタデータ） (2026-08-07T09:48:25Z)
Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
エージェント最適化法で報告されているほとんどの利得はワンショットである。これは、デプロイされたエージェントにとって重要な設定をテストするものではない。エージェントハーネス最適化に対する3つのアプローチを比較する。
論文参考訳（メタデータ） (2026-07-15T16:36:04Z)
Contrastive Reflection for Iterative Prompt Optimization [0.6533652962118279]
エージェントIRの反復的プロンプト最適化フレームワークであるContrastive Reflectionを提案する。フレームワークをツリーベースのスライスセレクタでインスタンス化するが、コントリビューションはツリー自体よりもコントラストループである。
論文参考訳（メタデータ） (2026-06-29T19:16:07Z)
FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。 FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
論文参考訳（メタデータ） (2026-05-30T10:21:20Z)
Select Smarter, Not More: Prompt-Aware Evaluation Scheduling with Submodular Guarantees [28.54776477263591]
本稿では, Prompt-Aware Online Evaluation Scheduling (POES)を提案する。 POESはIRTベースの識別ユーティリティ、施設位置のカバレッジ用語、スイッチングコストを意識したウォームスタートスワップを統一された目的に統合する。 POESは、無視できるトークンオーバーヘッドで、全体的な平均精度(最高のベースラインよりも6.2%改善)が最も高い。
論文参考訳（メタデータ） (2026-04-13T11:31:04Z)
CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
論文参考訳（メタデータ） (2026-01-30T10:33:29Z)
Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文参考訳（メタデータ） (2025-09-25T14:05:55Z)
Efficient Non-Parametric Optimizer Search for Diverse Tasks [93.64739408827604]
興味のあるタスクを直接検索できる,スケーラブルで汎用的なフレームワークを初めて提示する。基礎となる数学表現の自然木構造に着想を得て、空間を超木に再配置する。我々は,モンテカルロ法を木探索に適用し,レジェクションサンプリングと等価形状検出を備える。
論文参考訳（メタデータ） (2022-09-27T17:51:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。