論文の概要: VeriEvolve: Evaluator-First Evolution for Tool-Using Agents
- arxiv url: http://arxiv.org/abs/2610.29005v1
- Date: Wed, 21 Oct 2026 00:13:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.164184
- Title: VeriEvolve: Evaluator-First Evolution for Tool-Using Agents
- Title（参考訳）: VeriEvolve: ツール利用エージェントのための評価器ファースト進化
- Abstract要約: 我々は,評価者優先の進化フレームワークであるtextscVeriEvolveを紹介した。
VeriEvolveは命令基底のチャレンジステートとそれらをチェックする実行可能な評価器を合成する。
評価対象誘導による進化は、GLM-5.2では6/30から18/30に、クロードでは27/30から30/30に、外部で確認された成功を増大させる。
- 参考スコア（独自算出の注目度）: 12.151281656455652
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A central obstacle to self-improving agents is the absence of a reliable fitness signal for realistic stateful tasks. We introduce \textsc{VeriEvolve}, an evaluator-first evolution framework that constructs this missing evaluation layer before optimizing the agent. From task instruction, VeriEvolve synthesizes instruction-grounded challenge states and an executable evaluator that checks them. During each round of workflow evolution, the evaluator is frozen and serves as the fitness signal. Between rounds, VeriEvolve revises the evaluator by converting the end states of strong and weak runs into a pair of counterfactual test cases. Across all 30 MCPMark Filesystem tasks, VeriEvolve constructs 30 evaluators with 141 challenge states, achieving 141/141 agreement on the generated suites and 113/122 agreement on held-out states produced by executor agents. Evaluator-guided evolution increases externally verified success from 6/30 to 18/30 for GLM-5.2 and from 27/30 to 30/30 for Claude; refinement removes all three false positives that the weak executor exposes. Cross-environment studies on PostgreSQL, Playwright, Notion, and GitHub further expose complementary limits from observability, state representation, and search/execution capacity. These results show that executable evaluators can be synthesized and used to guide search when task success is observable and an external verifier is available for calibration.
- Abstract（参考訳）: 自己改善剤に対する中心的な障害は、現実的なステートフルなタスクのための信頼性の高いフィットネス信号がないことである。
我々は,エージェントを最適化する前に,この欠落した評価層を構成する評価器ファースト進化フレームワークであるtextsc{VeriEvolve}を紹介する。
タスク命令から、VeriEvolveは命令基底のチャレンジステートとそれらをチェックする実行可能な評価器を合成する。
ワークフローの進化の各ラウンドにおいて、評価器は凍結され、フィットネス信号として機能する。
ラウンドの間、VeriEvolveは、強い状態と弱い状態の状態を2つの対実テストケースに変換することで評価器を改訂する。
30のMCPMarkファイルシステムタスク全体で、VeriEvolveは、141のチャレンジステートを持つ30の評価器を構築し、生成されたスイートについて141/141の合意と、エグゼクタエージェントが生成したホールドアウトステートに関する113/122の合意を達成している。
評価対象誘導による進化は、GLM-5.2では6/30から18/30に、Claudeでは27/30から30/30に、外部で証明された成功を増大させる。
PostgreSQL、Playwright、Notion、GitHubの相互環境調査では、可観測性、状態表現、検索/実行能力から補完的な制限が明らかにされている。
これらの結果は,タスク成功が観測可能で,外部検証器が校正可能である場合に,実行可能評価器を合成し,探索のガイドに使用することができることを示している。
関連論文リスト
- EmbodiedEvo: Self-Evolving Coding Agent For Physical Intelligence [5.550735065870032]
EmbodiedEvoは自己進化型コーディングエージェントで、物理的なフィードバックを再利用可能なコードスキルと診断レッスンに蒸留する。
RoboDojo-Simでは、EmbodiedEvoの平均スコアは44.48で、成功率は37.82%で、公式に確認されたすべての結果を上回っている。
論文 参考訳（メタデータ） (2026-10-13T17:59:51Z) - Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳（メタデータ） (2026-10-13T17:22:58Z) - Verifier-Harness Co-Evolution for Training-Free Self-Improvement on Open-Ended Tasks [26.247543441302785]
Unified Co-Evolution (UCoE) は、エージェントのハーネス状態とともに実行可能な検証プログラムを進化させる訓練不要の手法である。
UCoEは候補検証プログラムを合成し、応答コントラストでテストする。
最弱のコントラスト家族に対する差別が最高である候補者を選別し、これは私たちが運転能力と呼ぶ量である。
論文 参考訳（メタデータ） (2026-10-13T02:29:40Z) - Drafting Agents, Not Just Tokens: Speculative Recursive Self-Improvement for Agentic Systems [58.89141999692635]
提案するSpeculative Recursive Self-Improvement(SpecRSI)は,前任者が十分に評価される前に,実行可能な後継エージェントをドラフトする。
VATSは、予測された継続の返却を使って、さらなる編集と優れたチェックの間に予算を割り当てる。
グループ検証最適化(GVO)は、実際の評価器を固定しながら、完了した探索から改善器を学習する。
論文 参考訳（メタデータ） (2026-10-12T09:43:48Z) - Fly-by-Code: Embodied Coding Agents for Aerial Manipulation with Active Visual and Physical Feedback [63.75302732504381]
エンボディードコーディングエージェントは、プログラムを生成し、実行フィードバックからそれらを精製することで、ロボットポリシーを構築する。
この改善は、実行フィードバックがタスクが成功したかどうかを明らかにし、失敗した後、プログラムのリビジョンをガイドするのに十分な証拠を提供すると仮定する。
同じフィードバックを再検査しても、収集されていない観察や、利用可能な証拠が区別できない原因を分離することはできません。
アクティブな"View and Probe"フレームワークであるActive Feedback(AF)を紹介します。
論文 参考訳（メタデータ） (2026-10-08T18:00:00Z) - EngramBench: A Capability-Grounded Benchmark for Skill-Evolution Harnesses [50.93446596863591]
EngramBenchは、ソリューションオーバーラップすることなく、厳密なオーバーラップの公理に支配される機能基底ベンチマークである。
人間の専門的検証によって裏付けられた48の複数時間実行軌跡に対する我々の評価は、手続き記憶に関する深い洞察を浮き彫りにしている。
破滅的なトークン重大な試行錯誤からエージェントを遠ざけることで、真の能力抽象化は冗長なコンテキストの肥大を削減し、全体的なコーディング時間を55%以上削減します。
論文 参考訳（メタデータ） (2026-09-30T08:33:17Z) - JET: Judge-Guided Evolution at Test Time for Agent Programs [13.234793901385524]
試験時間における判断誘導進化(JET)は、ラベル付きソーストラジェクトリ上で実行可能な判断を進化させ、それを凍結し、ターゲット側のプログラム進化を誘導するために転送する。
JETは、未進化のプログラム(コールドスタート)から進化が始まると、固定ルーブリックガイダンスよりも平均報酬が約13%高くなり、ソースタスク(保存スタート)ですでに最適化されたプログラムから始まると4%高くなります。
分析は、進化したコードで有用な報酬予測ロジックを特定し、より良い最終選択だけで利得を説明できないことを示す。
論文 参考訳（メタデータ） (2026-09-28T02:04:37Z) - HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution [11.431479238875712]
我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。
私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。
結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-09-01T07:31:18Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - BenchTrace: A Benchmark for Testing Reflection Ability and Controlled Evolution in LLM Agents [24.997265534888626]
LLMエージェントの自己進化能力を評価するベンチマークである textbfBenchTrace を提案する。
BenchTraceは6つのタスクにまたがる1,821の注釈付きエピソードのスナップショット・リフレクションデータセット上に構築されている。
エージェントがターゲットの障害インスタンスをうまく回避するテストケースの割合を計測する新しい評価指標であるtextbffailure avoidance rate (FAR) を提案する。
論文 参考訳（メタデータ） (2026-05-28T01:25:37Z) - Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses [57.20181537213498]
Agentic Harness Engineering (AHE)は、ハーネスエンジニアリングを自動化するクローズドループである。
AHEは3つの一致した可観測性柱を通じて課題に対処する。
10 AHE lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%。
SWE-bench-verifiedでは、種子よりも12%少ないトークンで合計成功率を上回り、ターミナルベンチ2では+5.1から+10.1ppのクロスファミリーゲインを得る。
論文 参考訳（メタデータ） (2026-04-28T16:55:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。