論文の概要: Rethinking Verification in Agent Harnesses

• arxiv url: http://arxiv.org/abs/2610.34577v1
• Date: Sun, 25 Oct 2026 21:17:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.639652
• Title: Rethinking Verification in Agent Harnesses
• Title（参考訳）: エージェント・ハーネスにおける検証の再考
• Abstract要約: エージェントハーネスは、大きな言語モデルをツールを通じて動作させ、結果を観察し、タスク目標に向かって反復的に作業することを可能にする。 テストタイムスケーリングの軸として,いつ介入すべきか,誰が作業をチェックすべきか,チェックがどのようにリビジョンにつながるのかを調べることで,検証について検討する。 私たちのフレームワークは、初期命令、ミッドターンリマインダー、完了ゲート、独立レビューの4つのレイヤにまたがっています。
• 参考スコア（独自算出の注目度）: 54.00276643533363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent harnesses enable large language models to act through tools, observe the results, and iteratively work toward a task goal. Verification checks and revises agents' work to improve output quality. Yet there is limited guidance on how harnesses should organize this effort. We study verification as an axis of test-time scaling by examining when to intervene, who checks the work, and how checking leads to revision. Our framework spans four layers of the agent lifecycle: initial instructions, mid-turn reminders, completion gates, and independent review. We compare 17 designs across seven frontier coding models on Terminal-Bench (TB) and SWE-bench Verified (SWE), and introduce VisualBench for expert evaluation of visual and interactive artifacts. Initial instructions and execution-time reminders yield modest, model-dependent average gains on the coding benchmarks, without substantially increasing average output token use. Completion gates can yield larger gains but may substantially increase cost. Independent review by a critic offers a more favorable accuracy-cost tradeoff, improving average accuracy by 5.9-9.5 percentage points on TB and 3.9-6.6 on SWE at 1.13-1.25 and 1.00-1.04 times baseline cost, respectively. On VisualBench, independent review achieves net preferences of 13.2-23.8 points over the baseline across its four designs, exceeding the evaluated L0-L2 designs. Additional review rounds or independent critics further improve average TB accuracy by up to 3.5 percentage points. Together, these results provide empirical guidance for verification design in agent harnesses and support independent review as a practical axis of test-time scaling.
• Abstract（参考訳）: エージェントハーネスは、大きな言語モデルをツールを通じて動作させ、結果を観察し、タスク目標に向かって反復的に作業することを可能にする。 検証は、出力品質を改善するためにエージェントの作業を確認し、修正する。 しかし、この取り組みをどのように組織化すべきかについては、限られたガイダンスがある。 テストタイムスケーリングの軸として,いつ介入すべきか,誰が作業をチェックすべきか,チェックがどのようにリビジョンにつながるのかを調べることで,検証について検討する。 私たちのフレームワークは、初期命令、ミッドターンリマインダー、完了ゲート、独立レビューの4つのレイヤにまたがっています。 端末ベンチ(TB)とSWEベンチ検証(SWE)の7つのフロンティアコーディングモデルに対して17の設計を比較し,ビジュアルおよびインタラクティブなアーティファクトのエキスパート評価にVisualBenchを導入する。 初期命令と実行時リマインダーは、平均出力トークンの使用を著しく増加させることなく、コードベンチマークで適度にモデルに依存した平均ゲインを得る。 完成ゲートはより大きな利得が得られるが、コストを大幅に上昇させる可能性がある。 批評家による独立レビューでは、平均精度をTBで5.9～9.5ポイント、SWEで3.9～6.6ポイント改善し、それぞれ1.13～1.25および1.00～1.04倍のベースラインコストとなっている。 VisualBenchでは、インディペンデント・レビューが4つのデザインでベースラインを13.2-23.8ポイント上回り、評価されたL0-L2設計を上回っている。 追加のレビューラウンドや独立批評家は、平均TBの精度を最大3.5ポイント向上させる。 これらの結果は,エージェントハーネスにおける検証設計に関する実証的なガイダンスを提供し,テスト時間スケーリングの実践的軸として独立したレビューを支援する。

関連論文リスト

• FOCUS: Active Critic Learning for Long-Horizon Language Model Agents [50.841006231659826]
  FOCUSは、選択的分岐を用いて、批評家ネットワークがその価値推定器を学習するのを助けるRL手法である。 FOCUSは、モジュール型コンテキスト管理インタフェースを通じて、長距離エージェント強化学習をサポートする。 以上の結果から,FOCUSはGRPOとVinePPOよりも高い性能を示した。
  論文  参考訳（メタデータ） (2026-10-26T17:34:47Z)
• VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
  LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。 本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。 コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。 これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
  論文  参考訳（メタデータ） (2026-10-01T03:02:17Z)
• Opera: A Verbal Critic Framework for Long-horizon Coding Agents [74.58337827299496]
  本稿では,各修正を永続的なノートとして扱う言語批判フレームワークであるOperaについて紹介する。 Operaは、周期的およびイベント駆動のトリガを通じていつレビューするかを決定し、型付きオペレーターと問題を診断し、配信前に可視的な証拠に対するフィードバックを監査し、エージェントのその後のアクションを追跡して、単なるコンプライアンスと実際の解決を区別する。
  論文  参考訳（メタデータ） (2026-09-27T22:42:57Z)
• Recursive Agentic Reasoning [4.7490116928645065]
  反復精製、分解、繰り返しサンプリングといったテスト時間推論手法は、しばしば分離して評価される。 エージェントの推論トレース上の再帰演算子として,これらの手法の統一ビューを導入する。 同一のプロンプト、トークン予算、グレーディングコードを持つ共有ハーネスの下で、3つの演算子全てをシングルパスチェーン・オブ・ソートベースラインに対して評価する。
  論文  参考訳（メタデータ） (2026-08-25T01:34:08Z)
• SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators [50.129606229339146]
  SurveyReviewは、調査評価のためのレビューアラインで多次元のベンチマークとデータセットである。 我々は、自由形式のコメントを4次元のスコアに変換することによって、ピアレビューレポートを構築する。 我々は,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テスト分割と評価プロトコルをリリースする。
  論文  参考訳（メタデータ） (2026-08-07T16:11:46Z)
• One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。 これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-30T06:08:27Z)
• Any Large Language Model Can Be a Reliable Judge: Debiasing with a Reasoning-based Bias Detector [39.54163923297108]
  推論に基づくバイアス検出器は、バイアス評価を特定し、構造的推論を生成して評価器の自己補正を導く。 RBDモデルのサイズを1.5Bから14Bに微調整し、すべてのスケールで一貫した性能改善を観察する。 例えば、RBD-8Bモデルは平均18.5%、一貫性10.9%で評価精度を向上し、それぞれ12.8%、微調整された審査員を17.2%上回る。
  論文  参考訳（メタデータ） (2025-05-21T07:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。