論文の概要: Verify by Doing: Co-Evolving Agent Execution and Evaluation without External Feedback
- arxiv url: http://arxiv.org/abs/2611.15276v1
- Date: Wed, 11 Nov 2026 10:07:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.097925
- Title: Verify by Doing: Co-Evolving Agent Execution and Evaluation without External Feedback
- Title(参考訳): 実行による検証:外部フィードバックを伴わないエージェントの実行と評価
- Abstract要約: 本稿では,アクタと評価器を1つのタスクで共進化させる手法であるdo(VbD)について紹介する。
提案された評価者は、一般的な候補の比較レビューを行う一方、アクター更新は、独自の新しい出力からのサポートを必要とする。
VbDは、外部からのフィードバックなしで動作している比較手法の中で、最高スコアを3.3、4.1、および2.3のポイントで達成している。
- 参考スコア(独自算出の注目度): 29.383687434042447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent self-improvement requires feedback about task success, yet external feedback may be unavailable at test time. Agents must then infer success from observable evidence, and incomplete verification can misguide subsequent updates. We introduce Verify by Doing (VbD), a method that co-evolves Actor and Evaluator harnesses within a single task while keeping model weights fixed. The Evaluator actively inspects artifacts and environment state with tools; its findings ground an internal signal for output selection and guide updates to both execution and verification procedures. Proposed Evaluators undergo comparative review on common candidates, while Actor updates require support from their own fresh outputs. Across AutomationBench, $τ^3$ Banking, and selected GDPval tasks, VbD achieves the highest overall scores among the compared methods operating without external feedback, with gains of 3.3, 4.1, and 2.3 percentage points over the strongest baselines on the main backbone. Ablations support the contributions of active verification and Evaluator evolution, and selection from fixed candidate pools shows that improved verification can recover successful outputs without generating new ones.
- Abstract(参考訳): エージェントの自己改善にはタスクの成功に関するフィードバックが必要ですが、テスト時に外部からのフィードバックは利用できません。
エージェントは観察可能な証拠から成功を推測し、不完全な検証はその後の更新を誤る可能性がある。
本稿では,モデルウェイトを固定しながら,アクタと評価器を1つのタスク内で併用する手法であるVerify by Doing(VbD)を紹介する。
Evaluatorは、ツールを使用してアーティファクトと環境状態を積極的に検査する。その発見は、出力選択のための内部信号と、実行手順と検証手順の両方の更新をガイドする。
提案された評価者は、一般的な候補の比較レビューを行う一方、アクター更新は、独自の新しい出力からのサポートを必要とする。
Across AutomationBench, $τ^3$ Banking, and selected GDPval task, VbDは、外部からのフィードバックなしで動作している比較手法の中で最高スコアを達成し、メインバックボーン上で最強のベースラインよりも3.3、4.1、および2.3のポイントを獲得した。
アブレーションは、アクティブな検証と評価器の進化の貢献を支持し、固定された候補プールの選択により、新しい検証を発生させることなく、改善された検証が出力を回復できることが示される。
関連論文リスト
- VeriEvolve: Evaluator-First Evolution for Tool-Using Agents [12.151281656455652]
我々は,評価者優先の進化フレームワークであるtextscVeriEvolveを紹介した。
VeriEvolveは命令基底のチャレンジステートとそれらをチェックする実行可能な評価器を合成する。
評価対象誘導による進化は、GLM-5.2では6/30から18/30に、クロードでは27/30から30/30に、外部で確認された成功を増大させる。
論文 参考訳(メタデータ) (2026-10-21T00:13:29Z) - EnactOpt: Diagnosis-Guided Harness Evolution for Embodied Agents [16.436363329468517]
基礎モデル上に構築されたエージェントは、観察を組織化し、アクションをガイドし、実行フィードバックをその後の決定に組み込むための実行ハーネスに依存している。
EnactOptは、限られた実行フィードバックを使って再利用可能なテキストスキルとコンテキストコンストラクションコードを共同で進化させ、基盤となるモデルとランタイムを固定します。
VLABench、ALFWorld、Embodied Agent Interface (EAI)全体で、EnactOptは初期ハーネスよりもタスク成功率を約10~27ポイント向上し、評価されたEPA、TextGrad、Trace2Skillベースラインを上回っている。
論文 参考訳(メタデータ) (2026-10-10T14:51:25Z) - Beyond Endpoint Performance: Process-Level Evaluation of Self-Evolving Agents [20.811638832981178]
EvoPathBenchは、アーティファクトレベルの自己進化中の個々の機能を追跡するベンチマークである。
不可解なタスクへの一般化、無関係な学習後の保持、新しいエビデンスへのルール適応の3つの機能をテストする。
論文 参考訳(メタデータ) (2026-09-21T14:28:06Z) - S3Gym: Can LLMs Turn Self-Testing and Self-Judging into Self-Improvement? [66.17176838165994]
大規模言語モデル(LLM)は、ますます外部環境と相互作用し、かなりの行動経験を蓄積する。
エージェントがその振る舞いを積極的にテストし、得られた経験を判断し、その経験を使って将来の意思決定を改善することができるかどうかは不明だ。
LLM自己改善評価のための対話型ベンチマークである textbfStextsuperscript3Gym を導入する。
論文 参考訳(メタデータ) (2026-08-31T17:05:41Z) - Multi-Turn Evaluation of Deep Research Agents Under Process-Level Feedback [22.73903507349779]
既存のDRA(Deep Research Agent)のベンチマークでは、シングルショットアウトプットのみを評価し、重要な疑問を無視している。
自己回帰とプロセスレベルのフィードバックという2つのフィードバック設定の下で,DRAのマルチターン評価を行う。
分析の結果, (i) 自己反射下では, エージェントがほぼ等しい速度でルーブリック基準を組み込んで回帰し, 無視できる純改善をもたらすこと, (ii) プロセスレベルのフィードバックの1ラウンドでかなりの利得が得られること, (ii) 正規化スコアを約8~15ドル引き上げ, 約35ドルとした。
論文 参考訳(メタデータ) (2026-06-08T17:08:36Z) - More than a Judge: An Empirical Study of Agent-Human Interaction in Crowdsourced Testing Assessment [16.700895092783266]
本研究では,LLM-as-a-Judgeパラダイムに基づくマルチエージェント評価バックボーンの開発と評価を行った。
しかし、信頼性の高い自動判断は、エージェントの出力がワークフローに埋め込まれた時に人間の作業を改善するかどうかをそれ自体が示さない。
本稿では,評価に基づく行動フィードバックが,テスト担当者の報告の修正方法,その後のタスクの実行方法,アプリケーション間での報告プラクティスの伝達方法を改善するかを検討する。
論文 参考訳(メタデータ) (2026-06-04T15:39:05Z) - Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification [71.98473277917962]
近年のDeep Research Agents (DRA) の進歩は、自動知識発見と問題解決に変化をもたらしている。
本稿では,政策モデルのアウトプットを反復的に検証することで,エージェントの能力を自己進化させる手法を提案する。
検証の非対称性を生かしたルーブリックスに基づく結果報酬検証器であるDeepVerifierを提案する。
論文 参考訳(メタデータ) (2026-01-22T09:47:31Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳(メタデータ) (2025-04-02T17:40:47Z) - 360$^\circ$REA: Towards A Reusable Experience Accumulation with 360° Assessment for Multi-Agent System [71.96888731208838]
評価フィードバックからの経験を総合的に評価し蓄積することは、システム性能を改善するための効果的なアプローチである、と我々は主張する。
企業組織の実践にインスパイアされた階層的なマルチエージェントフレームワークである360$circ$REA(360$circ$REA)による再利用可能なエクスペリエンス蓄積を提案する。
論文 参考訳(メタデータ) (2024-04-08T14:43:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。