論文の概要: AgentProofBench: Benchmarking Reusable Verifiers for Web Agents
- arxiv url: http://arxiv.org/abs/2610.34634v1
- Date: Sun, 25 Oct 2026 23:20:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.651518
- Title: AgentProofBench: Benchmarking Reusable Verifiers for Web Agents
- Title（参考訳）: AgentProofBench: Webエージェントの再利用可能な検証ツールのベンチマーク
- Abstract要約: AgentProofBenchは、凍結された受け入れルールのペアテストと、同じ保存された開口からの実行を接続する。
リリースされた命令、状態、プログラム、参照ルール、およびトラジェクトリは、各テスト失敗とその実行結果に接続する。
- 参考スコア（独自算出の注目度）: 2.0940609858822326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reusable Web-agent verification requires a rule to follow changing requirements and support subsequent execution. We introduce AgentProofBench, which connects paired tests of a frozen acceptance rule to execution from identical saved openings. The resource spans 97 tasks, 79 families, and four Web services. Experiments with DeepSeek Flash/Pro establish two linked measurements. Across 48 families, complete-panel and decision-replay tests retain 82/96 Flash and 79/96 Pro source programs; paired reuse-rebuild BA intervals are [-5.47, 1.57] and [-10.16, 0.00] percentage points. Across 22 execution families, deployment-state panel correctness separates program assignments whose two saved openings are both delivered correctly: 32/33 assignments with error-free panels, versus 1/11 with panel errors. All reference-defined program-gate regressions and withheld deliveries occur in the latter group. Neutral continuation attains the highest correct delivery under the tested generic feedback, providing a concrete baseline for measuring the value added by a gate. Released instructions, states, programs, reference rules, and trajectories connect each test failure to its execution consequences. AgentProofBench makes reusable verification assessable at both the requirement and policy levels.
- Abstract（参考訳）: 再使用可能なWebエージェント検証には,要件の変更に従って,その後の実行をサポートするためのルールが必要である。
我々はAgentProofBenchを紹介します。これは、凍結された受け入れルールのペアテストと、同じ保存された開口からの実行を接続します。
リソースは97のタスク、79のファミリー、4つのWebサービスにまたがる。
DeepSeek Flash/Proの実験は2つの関連した測定値を確立する。
48のファミリー、完全パネル、決定-再生テストは82/96のFlashと79/96のProのソースプログラムを保持しており、再利用/再ビルドのBAインターバルは [-5.47, 1.57] と [-10.16, 0.00] のパーセンテージを持つ。
22の実行ファミリにまたがって、配置状態のパネルの正しさは、2つの保存された開口部がどちらも正しく配信されるプログラムの割り当てを分離する。
参照定義されたプログラムゲートの回帰と不要な配送は、後者のグループで発生します。
中性継続は、試験された一般的なフィードバックの下で最も高い正確なデリバリを達成することができ、ゲートが付加した値を測定するための具体的なベースラインを提供する。
リリースされた命令、状態、プログラム、参照ルール、およびトラジェクトリは、各テスト失敗とその実行結果に接続する。
AgentProofBenchは、要求レベルとポリシーレベルの両方で再利用可能な検証を可能にする。
関連論文リスト
- ProtAgent: Post-Training Compact Protein Tool Agents with Interaction-Level Credit Assignment [59.85337246242935]
タンパク質アノテーション剤は、適切なバイオインフォマティクスツールを選択し、それらのアウトプットを解釈し、最終的な答えで結果のエビデンスを使用する必要がある。
本稿では,教師付き微調整を用いた2段階パイプラインであるProtAgentについて紹介する。
論文 参考訳（メタデータ） (2026-10-24T15:42:13Z) - VeriCUA: Learning Proactive Verification for Reliable GUI Agent Rewards [52.80093616378547]
単試行で検証戦略を学習する積極的報酬エージェントであるVeriCUAを紹介する。
オンライン強化学習は、判決の正当性と効率の良いプローブの使用の両方を最適化する。
GPT-5.4を5.36ポイント上回り、プロブトークンは47.6%-59.8%減少し、1B VeriCUAも全ての審査員を上回る。
論文 参考訳（メタデータ） (2026-10-19T14:17:33Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration [3.4732047142551288]
FDE-BenchはDockerイメージ、マルチサービスComposeスタック、診断・修復モードにまたがるデプロイメント設定タスクを評価している。
エージェントは、プリスタント環境で収集、再構築、再デプロイされる宣言的アーティファクトを提出する。
準備は最大の障害ステージであり、313エピソードのうち110エピソードが未解決である。
論文 参考訳（メタデータ） (2026-09-23T08:51:01Z) - TwinCheck: Evidence-Grounded Negative-Twin Verification for Stateful Tool Agents [1.1279808969568255]
TwinCheckは、トレースがトレースローカル障害仮説に結びついている証拠条件を満たす場合にのみ、置換を検討するポリシーである。
ペア評価の場合、正確なリプレイはエージェントのパースされた応答とアクションを保持し、最初の置換が受け入れられるまで固定される。
論文 参考訳（メタデータ） (2026-09-22T18:09:40Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。
AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
論文 参考訳（メタデータ） (2026-08-12T07:07:57Z) - Claim Plane: Reliability Gains and the Limits of Selective Concurrency for Parallel Coding Agents: A 30-Pair, Three-Seed Confirmatory Study of Deterministic Pre-Write Admission [1.4721615285883427]
Claim Plane氏は、この障害モードを、バージョン管理された変更意図に対する決定論的事前書込みとして扱う。
静的クレームプレーンは、制約のない並列実行の下でペアパスを23.3%から50.0%に引き上げた。
動的入院はより選択的であり、66.7%の紛争事件と13.3%のクリーンケースを連行したが、90件の処刑のうち46件は未宣言の範囲で閉鎖された。
論文 参考訳（メタデータ） (2026-08-02T02:56:49Z) - From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution [0.0]
大規模言語モデルエージェントはアクションの提案と実行を行うことができるが、提案、権限、ディスパッチ、検証された外部効果、プロモーションは異なるクレームである。
本稿では,これらの状態を明確に表現するエージェントハーネスであるPraxaについて,決定論的容認,ブローカー実行,外部読み取り,和解,再検討を通じて紹介する。
論文 参考訳（メタデータ） (2026-07-27T05:57:10Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。