論文の概要: Beyond the Verdict: Agentic Code Judging with Verifiable Feedback

• arxiv url: http://arxiv.org/abs/2610.18760v1
• Date: Tue, 13 Oct 2026 17:22:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.6913
• Title: Beyond the Verdict: Agentic Code Judging with Verifiable Feedback
• Title（参考訳）: 評決を超えて: 検証可能なフィードバックで判断するエージェントコード
• Abstract要約: 我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。 次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。 トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
• 参考スコア（独自算出の注目度）: 54.72977295521153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time scaling for large language models (LLMs) can involve generating multiple candidate solutions for selection or revising an earlier attempt. To guide selection and revision, we need a verifier that can estimate candidate correctness and provide evidence of failure. In competitive programming, however, official judging systems provide authoritative verdicts under finite submission budgets, without revealing failure explanations or failing inputs. To provide informative feedback without consuming official submissions, we formulate a task in which a model judges and diagnoses a candidate program using only the problem statement and source code, with generated counterexamples serving as checkable evidence. To evaluate this task, we build USACO-JUDGE from the USACO 2026 contests, using accepted and unaccepted programs written by human experts and multiple LLMs. We then train ARBITER, a 35B mixture-of-experts (MoE) agentic verifier, with reinforcement learning in a generic execution sandbox. Training raises counterexample success on incorrect programs from 40.61% to 62.67% and mean binary verdict accuracy on USACO-JUDGE from 71.41% to 87.41%, approaching frontier verification performance. Beyond verification, ARBITER outperforms baselines in both code selection and refinement. In an IOI 2026 case study, ARBITER-guided refinement raises GPT-OSS-120B's expected score above the gold-medal threshold under the official submission limit.
• Abstract（参考訳）: 大規模言語モデル(LLM)のテストタイムスケーリングには、選択や以前の試みの修正のために複数の候補ソリューションを生成する必要がある。 選択と修正を導くためには、候補の正しさを推定し、失敗の証拠を提供する検証器が必要である。 しかし、競合プログラミングにおいて、公式な判断システムは、失敗の説明や失敗の入力を明らかにすることなく、有限の予算の下で権威的な判断を提供する。 公式な提出書を使わずに,問題文とソースコードのみを用いて候補プログラムを判断・診断するタスクを,検証可能な証拠として生成した反例を用いて定式化する。 この課題を評価するため,USACO-JUDGEをUSACO 2026コンテストから構築する。 次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。 トレーニングは40.61%から62.67%に、USACO-JUDGEの2進検定精度を71.41%から87.41%に引き上げ、フロンティアの検証性能に近づいている。 検証以外にも、ARBITERはコード選択と改善の両方においてベースラインを上回っている。 IOI 2026 のケーススタディでは、ARBITER-guided refinement は GPT-OSS-120B の予想スコアを、公式の提出制限の下でゴールドメディカルしきい値より高くする。

関連論文リスト

• One-Sided Verification Under Limited Expert Review [81.81806589083486]
  我々は、稀な有効な解決策を優先する必要がある、限定された人間の努力の下で検証を研究する。 我々は、エラー提案とエラー検証を分離するアルゴリズムフレームワークであるOSVerifyを紹介した。 実験によると、OSVerifyは、無効なソリューションの人間レビューの数を平均46%削減している。
  論文  参考訳（メタデータ） (2026-10-13T10:10:11Z)
• From Verification Failures to Reusable Guidance for Coding Agents [10.7243245192525]
  コーディングエージェントは、プログラムが仕様を満たすことと、仕様が要求された振る舞いをキャプチャすることを確立する必要がある。 本研究は,検証失敗の専門診断が再利用可能なガイダンスとなる方法について検討する。 ヒューマンガイド開発キャンペーンは、セマンティクスとキットで164/164の成功率を達成する。
  論文  参考訳（メタデータ） (2026-09-30T05:27:26Z)
• Modality-Driven Search with Holistic Trace Judging for ARC-AGI-2 [0.0]
  数ショットのビジュアル推論ベンチマークであるARC-AGI-2の解法について述べる。 テキスト、画像、コードチャネルにまたがって、さまざまな候補を生成する。 自己整合性や多数決とは違って、モーダルな答えが間違っているタスクに関する正しいマイノリティな仮説を確実に復元する。
  論文  参考訳（メタデータ） (2026-06-30T11:55:33Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• Judging What We Cannot Solve: A Consequence-Based Approach for Oracle-Free Evaluation of Research-Level Math [21.001217194182995]
  本研究では,その価値を文脈内見本として検証し,関連する問題を解き明かすオラクルフリー評価器であるConsequence-Based Utilityを提案する。 提案手法は, 1 つの専門家による解と 9 つの LLM 生成解をそれぞれ組み合わせた,研究レベルの数学問題のオリジナルセットに基づいて評価する。 特に、Consequence-Based Utilityは、報酬モデル、生成的報酬モデル、LLM審査員のランキング品質を一貫して上回る。
  論文  参考訳（メタデータ） (2026-02-06T01:10:28Z)
• Scaling Agentic Verifier for Competitive Coding [66.11758166379092]
  大規模言語モデル(LLM)は強力なコーディング能力を示しているが、1回の試行で競合するプログラミング問題を正しく解くのに苦戦している。 実行ベースの再ランク付けは、有望なテスト時間スケーリング戦略を提供するが、既存のメソッドは、難しいテストケースの生成または非効率的なランダム入力サンプリングによって制約される。 本稿では,プログラムの動作を積極的に推論し,高い差別性のあるテスト入力を検索するエージェント検証手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T06:30:40Z)
• Hard2Verify: A Step-Level Verification Benchmark for Open-Ended Frontier Math [80.46254366870447]
  私たちは500時間以上の人的労力で生成された段階レベルの検証ベンチマークであるHard2Verifyを紹介します。 我々は29人の生成的批評家とプロセス報酬モデルを評価し、いくつかの点を超えて、オープンソースの検証者がクローズドソースモデルを評価することを実証した。
  論文  参考訳（メタデータ） (2025-10-15T16:50:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。