論文の概要: LLM-as-a-Verifier: A General-Purpose Verification Framework

• arxiv url: http://arxiv.org/abs/2607.05391v1
• Date: Mon, 06 Jul 2026 17:59:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.276108
• Title: LLM-as-a-Verifier: A General-Purpose Verification Framework
• Title（参考訳）: LLM-as-a-Verifier:汎用検証フレームワーク
• Authors: Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini,
• Abstract要約: 本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 74.40111651545979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling pre-training, post-training, and test-time compute have become the central paradigms for improving the capabilities of LLMs. In this work, we identify verification, the ability to determine the correctness of a solution, as a new scaling axis. To unlock this and demonstrate its effectiveness, we introduce LLM-as-a-Verifier, a general-purpose verification framework that provides fine-grained feedback for agentic tasks without requiring additional training. Unlike standard LM judges that prompt LLMs to produce discrete scores for candidate solutions, LLM-as-a-Verifier computes the expectation over the distribution of scoring token logits to generate continuous scores. This probabilistic formulation enables verification to scale along multiple dimensions: (1) score granularity, (2) repeated evaluation, and (3) criteria decomposition. In particular, we show that scaling the scoring granularity leads to better separation between positive and negative solutions, resulting in more calibrated comparisons. Moreover, scaling repeated evaluation and criteria decomposition consistently lead to additional gains in verification accuracy through variance and complexity reduction. We further introduce a cost-efficient ranking algorithm for selecting the best solution among candidates using the verifier's continuous scores. LLM-as-a-Verifier achieves state-of-the-art performance on Terminal-Bench V2 (86.5%), SWE-Bench Verified (78.2%), RoboRewardBench (87.4%), and MedAgentBench (73.3%). Beyond verification, the fine-grained signals from LLM-as-a-Verifier can also serve as a proxy for estimating task progress. We build an extension for Claude Code, enabling developers to monitor and improve their own agentic systems. Finally, we show that LLM-as-a-Verifier can provide dense feedback for RL, improving the sample efficiency of SAC and GRPO on robotics and mathematical reasoning benchmarks.
• Abstract（参考訳）: 事前トレーニング、ポストトレーニング、テストタイム計算のスケーリングは、LLMの能力を改善するための中心的なパラダイムとなっている。 本研究では,新たなスケーリング軸として,検証,解の正当性を決定する能力について同定する。 エージェントタスクに対するきめ細かいフィードバックを提供する汎用検証フレームワーク LLM-as-a-Verifier を,追加のトレーニングを必要とせずに導入する。 LLMが候補解に対して離散的なスコアを生成するように促す標準のLMジャッジとは異なり、LCM-as-a-Verifierはスコアトークンロジットの分布に関する期待値を計算し、連続的なスコアを生成する。 この確率的定式化は,(1)スコアの粒度,(2)繰り返しの評価,(3)基準の分解など,複数の次元に沿ってスケールする検証を可能にする。 特に、スコアリングの粒度を拡大すると、正解と負解の分離がより良くなり、より校正された比較が得られることを示す。 さらに、繰り返し評価と基準分解のスケーリングは、ばらつきと複雑性の低減による検証精度の向上に一貫して寄与する。 さらに,検証者の連続スコアを用いた最適解を選択するための費用効率の高いランキングアルゴリズムを導入する。 LLM-as-a-VerifierはターミナルベンチV2(86.5%)、SWE-Bench Verified(78.2%)、RoboRewardBench(87.4%)、MedAgentBench(73.3%)の最先端性能を達成する。 検証以外にも、LSM-as-a-Verifierからのきめ細かい信号は、タスク進捗を推定するためのプロキシとしても機能する。 私たちはClaude Codeの拡張機能を構築し、開発者が自身のエージェントシステムを監視および改善できるようにします。 最後に, LLM-as-a-Verifier は, ロボット工学および数学的推論ベンチマークにおける SAC と GRPO のサンプル効率を向上させることができることを示す。

関連論文リスト

• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。 従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。 本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:55:11Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。