論文の概要: VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents
- arxiv url: http://arxiv.org/abs/2610.28679v1
- Date: Mon, 19 Oct 2026 17:22:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.100099
- Title: VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents
- Title（参考訳）: VerifierBench: LLMエージェントのための実行可能検証生成のベンチマーク
- Abstract要約: VerifierBenchは、ツールコール、ステートベース、コード検証にまたがる222のタスクのベンチマークである。
Verifier4Verifier (V4V) はソース検証とテストスイートを検査する。
分析されたレコードのほとんどの偽りの拒絶は、あるタスクに対するテストされた解決策を受け入れない検証者によるものである。
- 参考スコア（独自算出の注目度）: 57.86211802714839
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agents need reliable ways to validate their outputs, both when completing tasks and when filtering synthetic training data. We study verifier generation: from the instruction and environment available for solving a task, an agent writes an executable verifier that must accept every valid solution and reject invalid ones. We introduce VerifierBench, a benchmark of 222 tasks from six agent benchmarks spanning tool-call, state-based, and code verification, with 4,993 hidden test cases that include alternative valid solutions and attacks; Verifier4Verifier (V4V), a six-check audit, screens its source verifiers and test suites. Across 19 models in a common agent harness, normalized balanced accuracy ranges from 10.6 to 62.1, with generated verifiers consistently rejecting invalid solutions more reliably than they accept valid ones. This apparent strength can mask overly restrictive verification: most false rejections in the analyzed records come from verifiers that accept no tested solution to a task. Case studies reveal unsupported assumptions about solution formats, tool use, and code changes that exclude valid solutions. These errors survive self-testing because agents test solutions that share the verifier's mistaken assumptions, or submit verifiers without confirming that any correct solution passes. These findings suggest testing both whether a verifier accepts a correct solution and whether it accepts other solutions permitted by the task. The project page and dataset are publicly available.
- Abstract（参考訳）: エージェントは、タスク完了時と合成トレーニングデータのフィルタリング時の両方に、アウトプットを検証するための信頼性の高い方法が必要です。
エージェントは,タスクの解決に利用可能な命令と環境から,有効な解をすべて受け入れ,無効な解を拒否する実行可能な検証書を書く。
ツールコール、ステートベース、コード検証にまたがる6つのエージェントベンチマークから222タスクのベンチマークであるVerifierBenchを紹介した。
共通エージェントハーネスの19モデル中、正規化された平衡精度は10.6から62.1の範囲であり、生成した検証器は有効解を受け入れるよりも確実に無効解を拒否する。
この明らかな強さは、過度に制限的な検証を隠蔽することができる。分析されたレコードのほとんどの偽の拒絶は、あるタスクに対するテストされた解決策を受け入れない検証者から来ている。
ケーススタディでは、ソリューションフォーマット、ツールの使用、有効なソリューションを除外するコードの変更について、支持できない仮定を明らかにしている。
これらの誤りは、エージェントが検証者の誤った仮定を共有するソリューションをテストしたり、正しい解が通過することを確認せずに検証を提出したりするため、自己検証に残る。
これらの結果から,検証者が正しい解を受理するか否か,タスクが許容する他の解を受理するかどうかを検証した。
プロジェクトページとデータセットが公開されている。
関連論文リスト
- Verifier-Grounded Agentic RL for Provably Correct Code [20.989739880402407]
私たちはエージェント環境を構築し、その両方に報酬を与えます。
報酬は、検証者の判断よりも、検証者の診断を読み取って、それが排出する証明義務の重み付けされた部分によって候補を採点する。
整合性監査は検証を上回り、仕様を変更したり、それを証明しようとすると仮定する候補を拒絶する。
論文 参考訳（メタデータ） (2026-10-13T23:17:25Z) - Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳（メタデータ） (2026-10-13T17:22:58Z) - TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - When Tools Lie: Reliability of Mathematical Agents Under Corrupted Tool Feedback [0.0]
隠されたインターセプターが、破損したツールコールの結果を、ターゲットとする問題に関する確実な誤った情報に置き換える方法を示す。
検証がなければ、破壊は劇的な精度の低下を引き起こし、100%から72.4%に低下する。
強制的なポリシーは検証を強制するが、オプション的なポリシーはそれを呼び出すためのモデル自身の選択に依存する。
論文 参考訳（メタデータ） (2026-10-06T10:28:19Z) - Verification Trap: Understanding Test-Time Selection Failures under False Premises in Code Generation [10.05347468916821]
テスト時の計算は、コード生成を改善する中心的な方法になっている。
検証者が生成元から独立して補正信号を提供するという仮定に挑戦する。
私たちはこの障害モードを検証トラップと呼んでいる。
論文 参考訳（メタデータ） (2026-10-04T12:28:10Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳（メタデータ） (2026-10-01T03:02:17Z) - Maat: Independent Deterministic Contract-Based Governance for Multi-Agent LLM Workflows [0.0]
私たちは、バージョン管理されたワークフロー契約アンカーに対してエージェントからエージェントへのハンドオフを検証するランタイムガバナンス層であるMaatを紹介します。
データレベルの欠陥を注入した6つの制御ドメイン(6～15エージェント、522トライアル)と決定論的7チェックルーブリックで評価した。
論文 参考訳（メタデータ） (2026-09-27T23:23:52Z) - Coding Agents as Test-Suite Auditors: Finding What Official Suites Miss While Approaching What They Catch [47.836680625916266]
テストスイート監査官として機能する市販のコーディングエージェントは、どちらも、公式スイートが見逃すものを公開するために、敵対的なテストスイートを構築します。
認証チェーンは、各エージェントフラッグされた申請が、公式の裁判官に頼らずに、真にバグだらけであるか否かを判定する。
Codeforceは、利用可能なオフィシャルスイートを持たない問題に対して、同じテストビルディングメソッドを使用して、テストされた入力予算毎に5つの再生ベースラインを導出する。
論文 参考訳（メタデータ） (2026-08-03T05:24:03Z) - Bayesian control for coding agents [63.64172141184361]
本稿では,コーディングエージェントのためのコスト依存型シーケンシャル仮説テストフレームワークを提案する。
ベイズ管制官は、正確性に対する信念を維持し、より多くの証拠を集め、候補者を精査し、検証し、停止するかを決定する。
本研究では, 信頼状態が, 不確実性定量化のためのトークン確率と生ツール・サクセスベースラインを上回り, 解釈可能な正当性スコアを得ることを示す。
論文 参考訳（メタデータ） (2026-06-23T11:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。