論文の概要: VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks

• arxiv url: http://arxiv.org/abs/2610.00972v1
• Date: Thu, 01 Oct 2026 03:02:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.872151
• Title: VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks
• Title（参考訳）: VeriHarness: 長期タスクにおけるエージェント検証のスケーリング
• Abstract要約: LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。 本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。 コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。 これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
• 参考スコア（独自算出の注目度）: 56.74345405508208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As LLM agents undertake increasingly complex, long-horizon tasks, verifying their outputs becomes increasingly challenging. We study how verification capability can be strengthened with a fixed base model, without access to reference answers or grading rubrics at test time. Repeated sampling yields multiple rollouts that can contain complementary correct claims, but we need a reliable verification mechanism to determine which claims to trust. We first find that disagreement often exposes correct alternatives, while consensus can conceal errors. These observations motivate VeriHarness, which turns the underlying LLM a generator uses into an agentic verifier by giving it a workspace, evidence tools, and reusable verification skills. A disagreement resolver checks competing claims against environmental evidence, while a consensus challenger tests shared claims and searches for omitted requirements. Their findings guide the selection and revision of the final artifact. Across five long-horizon workspace benchmarks and two frontier models, VeriHarness achieves the highest selection scores among the evaluated baselines. Evidence-backed revision further improves average performance, bringing gains over a single rollout to 6.2 points with Gemini 3.5 Flash and 6.4 points with Claude Opus 4.8. We further show that verification skills can self-improve from failure feedback, demonstrating VeriHarness as a novel and critical approach for scaling long-horizon agentic verification. We release the full pool of approximately 26,000 rollouts across all five benchmarks and both models, produced at a cost of over $100,000, to support future research on agentic verification.
• Abstract（参考訳）: LLMエージェントがますます複雑で長期のタスクをこなすようになると、そのアウトプットの検証はますます困難になる。 本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。 繰り返しサンプリングは、相補的な正しいクレームを含む複数のロールアウトをもたらすが、どのクレームを信頼するかを決定するための信頼性の高い検証メカニズムが必要である。 コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。 これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。 不一致解決者は、競合する環境証拠に対する主張をチェックし、コンセンサス挑戦者は、主張を共有し、省略された要件を検索する。 彼らの発見は最終成果物の選定と改訂を導く。 5つの長距離ワークスペースベンチマークと2つのフロンティアモデルに対して、VeriHarnessは評価されたベースラインの中で最高の選択スコアを達成している。 Evidence-backed revisionは、平均パフォーマンスをさらに改善し、1回のロールアウトで6.2ポイント、Gemini 3.5 Flashで6.4ポイント、Claude Opus 4.8で6.4ポイントに向上した。 さらに、検証スキルが障害フィードバックから自己改善できることを示し、VeriHarnessを長期のエージェント検証をスケールするための、新しくて重要なアプローチとして示す。 エージェント検証の今後の研究を支援するため、5つのベンチマークと2つのモデルで約26,000のロールアウトの完全なプールを10万ドル以上でリリースしました。

関連論文リスト

• SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
  我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:09:00Z)
• AgentV-RL: Scaling Reward Modeling with Agentic Verifier [63.55502685076245]
  試験時間スケーリング(TTS)によるLCM推論を強化する検証器が実証されている。 本稿では,報酬モデリングを多ターンツール拡張型検討プロセスに変換するフレームワークであるエージェント検証を提案する。 Agentic Verifier は並列およびシーケンシャルTS の両方で一貫した性能向上が得られることを示す。
  論文  参考訳（メタデータ） (2026-04-17T12:27:36Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• Inference-Time Scaling of Verification: Self-Evolving Deep Research Agents via Test-Time Rubric-Guided Verification [71.98473277917962]
  近年のDeep Research Agents (DRA) の進歩は、自動知識発見と問題解決に変化をもたらしている。 本稿では,政策モデルのアウトプットを反復的に検証することで,エージェントの能力を自己進化させる手法を提案する。 検証の非対称性を生かしたルーブリックスに基づく結果報酬検証器であるDeepVerifierを提案する。
  論文  参考訳（メタデータ） (2026-01-22T09:47:31Z)
• Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
  HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。 HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
  論文  参考訳（メタデータ） (2025-10-08T17:09:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。