論文の概要: Evidence-First Agentic Verification

• arxiv url: http://arxiv.org/abs/2610.17724v1
• Date: Tue, 13 Oct 2026 04:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.521457
• Title: Evidence-First Agentic Verification
• Title（参考訳）: Evidence-First Agentic Verification
• Abstract要約: サウロン(Sauron)は、状態とトレースの両方を調査するエビデンスファーストのエージェント検証器である。 各評決は、その支持された証拠の監査可能な受領を行う。
• 参考スコア（独自算出の注目度）: 22.042019029225827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-horizon, semi-verifiable agentic tasks often rely on rubric-based evaluation, but the evidence needed to assess these tasks can be spread across the environment state and the execution trace. A judge may overlook this evidence or accept unsupported claims, including an agent's own reports of success. When rubric verdicts serve as reinforcement-learning rewards, such errors can reinforce undesirable behavior. We introduce Sauron, an evidence-first agentic verifier that investigates both state and trace and relies on a claim only after independently validating it against its source. Bounded queries and joint investigation of related criteria reduce context use and redundant work, and each verdict carries an auditable receipt of its supporting evidence. Across 2,586 human-labeled criteria from 100 personal-assistant episodes, Sauron achieves the highest F1 of five verifiers on all eight backbones tested while costing less than Gandalf, the strongest baseline. With GPT-5.6 Sol, it reaches 0.96 F1 versus Gandalf's 0.92 at 23% lower cost, with a wider margin on process criteria. On a paired fault-injection suite covering 13 families, several of which simulate reward hacking, Sauron detects 97% of injected failures while flagging only 2% of clean controls, outperforming baselines even when they are given the full trace. On TRAIL, a benchmark for detecting and localizing real agent errors, Sauron leads both Gandalf and TRAIL's own judge on all three quality metrics.
• Abstract（参考訳）: 長期的な半検証可能なエージェントタスクは、しばしばルーブリックに基づく評価に依存するが、これらのタスクを評価するために必要な証拠は環境状態と実行トレースに分散することができる。 裁判官は、エージェント自身の成功の報告を含む、この証拠を見落としたり、支持できない主張を受理することができる。 ルーブリックの評定が強化学習報酬となると、そのような誤りは望ましくない行動を補強することができる。 証拠優先のエージェント検証器であるSauronを導入し、状態とトレースの両方を調査し、そのソースに対して独立に検証した後のみクレームに依存する。 境界付きクエリと関連する基準に関する共同調査により、コンテキスト使用と冗長な作業が削減され、各評決は、その支持された証拠の監査可能な受信を行う。 100エピソードから2,586件の人間ラベル付き基準で、サウロンは最強のベースラインであるガンダルフよりも低いコストでテストされた8つのバックボーンの5つの検証対象のうち、最も高いF1を達成している。 GPT-5.6 ソルでは、Gandalf の 0.92 に対して 23% のコストで 0.96 F1 に達する。 13のファミリーをカバーするペアフォールトインジェクションスイートで、そのうちのいくつかは報酬ハックをシミュレートし、97%のインジェクト障害を検出し、クリーンコントロールの2%しかフラグを付けていない。 実際のエージェントエラーを検出し、ローカライズするベンチマークであるTRAILでは、Sauron氏は、Gandalf氏とTRAIL自身の判断を3つの品質メトリクスすべてでリードしている。

関連論文リスト

• VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
  LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。 本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。 コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。 これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
  論文  参考訳（メタデータ） (2026-10-01T03:02:17Z)
• Failure-Transparent Agents: Benchmarking Post-Failure Reporting in Tool-Using Language Models [0.21987601456703476]
  本稿では,フェール・トランスペアレント・エージェント(FTA)について紹介する。 FTAには5つの障害ファミリにまたがる決定論的障害トレース、中立的なコントロール、4つのユーザプレッシャ条件を備えた100のタスクが含まれている。 6つのモデルで、偽失率は基本方針下で22.8%、透明な命令で9.3%、構造化された証拠契約で0.8%である。
  論文  参考訳（メタデータ） (2026-09-28T17:51:41Z)
• Agentic Commerce Bench: Measuring Fraud Detection for Agents That Spend Money [2.7632764922736848]
  AIエージェントは、現在、支出権限を保持し、人間の本人確認なしに支払いを和解している。 適切なドメイン、正しい解決アドレス、真に提供されたサービスは、必要以上に料金を請求することができる。 我々はその損失を計測・低減するための3つの工芸品を提示する。
  論文  参考訳（メタデータ） (2026-09-27T00:58:39Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• GroundedGEO: Auditing the Evidence Gap in Generative Search Rankings [4.058849693424635]
  ジェネレーティブ検索システムは、製品とサービスを連続的な決定のためにランク付けする。 テキストのみのランク付けと防御は、作り出された細部から正直な詳細な内容を切り離すことはできない。 その結果,有望な変種では,清潔な候補よりも有意な正規化ランクが得られた。
  論文  参考訳（メタデータ） (2026-09-21T17:07:10Z)
• GANDR: Claim Auditing for Verifiable Legal Answer Generation [21.842813905857863]
  グラウンドジェネレーションパイプラインは、答え全体をスコアリングするので、正しい結論は、製造されたまたはゆるくマッチした引用に留まり、それでも良いスコアを得ることができる。 本稿では,Drafterが構造化された法的推論形式と批判書に回答を書き込む2エージェントシステムであるGANDRを紹介し,人間の検証と同様の視点で,引用元に対して各クレームを監査する。 185等級の法定ベンチマークでは、GANDRが1位にランクインし、70.8%の精度に達し、11.3ポイント(p0.01)で最強のベースラインをリードした。
  論文  参考訳（メタデータ） (2026-09-09T15:08:09Z)
• SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
  我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:09:00Z)
• Evidence-Ledger Adjudication for Claim-Evidence Traceability [0.45743735246920414]
  本稿では,エビデンス・レジャーの判断,すなわちクレーム・エビデンス・トレーサビリティ・ワークフローについて検討する。 それぞれのクレームとエビデンスパケットをペアにし、サポート関係を割り当てる。 その結果,エビデンスリーダの判断は,異質なエビデンスパケットをAI支援書込みのための監査可能なトレーサビリティ層にすることができることがわかった。
  論文  参考訳（メタデータ） (2026-07-29T06:22:53Z)
• DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
  誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。 それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。 強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
  論文  参考訳（メタデータ） (2026-07-19T15:20:40Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
  既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。 本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。 我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
  論文  参考訳（メタデータ） (2026-03-06T05:05:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。