論文の概要: TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation

• arxiv url: http://arxiv.org/abs/2610.11678v1
• Date: Thu, 08 Oct 2026 10:52:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.963769
• Title: TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation
• Title（参考訳）: TRACE:エージェント評価における検証器の脆さの診断
• Abstract要約: 本稿では,判定から検査可能な診断へスコア変更を行うプロトコルであるTRACEを紹介する。 25の合成タスクの制御スイートでは、まったく同じ操作をしても、リネームツールはスクリプトされたエージェントのスコアを0.250下げる。 88の新しいタスクのフォローアップでは、条件ごとの繰り返し実行、改名ツールまたは改名ツールのアウトプットが8つのエージェント-チェンジペアのうち7つに対して$pm$0.10以内の報酬に変化しない。
• 参考スコア（独自算出の注目度）: 0.5837881923712392
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Verifier scores now serve as both benchmark metrics and training rewards for large language model (LLM) agents, and a change in score is routinely read as a change in capability. It may instead reflect a change in the evaluation. We introduce TRACE, a protocol that turns a score change from a verdict into a testable diagnosis: it applies a targeted change to one part of an evaluation, compares paired runs, checks whether the agent's behavior changed, and rescores unchanged trajectories to test whether the scoring rule is responsible. In a controlled suite of 25 synthetic tasks, renaming tools lowers a scripted agent's score by 0.250 even though it performs exactly the same operations; restoring the original names at scoring time closes the entire gap, while the same mutation exposes a genuine behavioral failure in a second agent. On public $τ^2$-bench tasks with four LLM agents, an initial 30-task study finds mixed reward changes whose one clear effect does not replicate. In a larger follow-up on 88 new tasks with repeated runs per condition, renaming tools or reformatting tool outputs leaves reward unchanged to within $\pm$0.10 for seven of eight agent-change pairs, whereas tool names that deliberately mislead lower every agent's reward by 0.20-0.44, showing that the setup can detect real effects. Identical reruns flip 15-36% of task outcomes, so single-run comparisons cannot separate presentation effects from run-to-run variation. Two frontier LLM judges give consistent verdicts when a fixed trajectory is presented differently, yet disagree with each other on 57% of the same records, largely because one grades procedure rather than outcome. TRACE thus separates what a score change says about the agent from what it says about the measurement.
• Abstract（参考訳）: 検証スコアは、大規模言語モデル(LLM)エージェントのベンチマークメトリクスとトレーニング報酬の両方として機能し、スコアの変更は能力の変化として定期的に読み込まれる。 代わりに、評価の変更を反映するかもしれない。 判定結果から検証可能な診断へとスコア変更を変換するプロトコルであるTRACEを導入し、評価の1部分にターゲット変更を適用し、ペア実行を比較し、エージェントの動作が変化したかどうかを確認し、変化しない軌跡を再スコアし、スコアリングルールが原因であるかどうかを判定する。 25の合成タスクからなる制御されたスイートにおいて、リネームツールは、全く同じ操作をしてもスクリプトされたエージェントのスコアを0.15に下げる。 4つのLDMエージェントによるパブリックな$τ^2$-benchタスクでは、最初の30タスクの研究では、1つの明らかな効果が複製されない混合報酬変化が見つかる。 88の新たなタスクに対するより大きなフォローアップでは、条件ごとの繰り返し実行、改名ツールまたは改名ツール出力は、8つのエージェント-チェンジペアのうち7つに対して$\pm$0.10以内の報酬に変化せず、一方、各エージェントの報酬を0.20-0.44まで意図的に下げたツール名は、実際の効果を検知できることを示している。 Identical rerunsはタスク結果の15～36%を反転させるため、単一実行比較では、プレゼンテーション効果と実行間変動を区別することはできない。 2人のフロンティアのLLM判事は、固定軌跡が異なる場合に一貫した判断を下すが、同じ記録の57%で互いに意見が一致しない。 TRACEは、測定値のスコア変更がエージェントについて何を言っているかと、測定値について何を言っているかを分離する。

関連論文リスト

• Agent Policy-Value Audit: Separating Transition Composition from Event Selection in Financial LLM Agents [37.33114262134344]
  平らな位置から長く位置を頻繁に変更するエージェントは、上向きのイベントプールから正対のリターンを得ることができる。 本稿では,各順序付けられた行動変化型の観測回数を固定したエージェントポリシー値監査法を提案する。 これらの再割り当てによる平均的な報酬は、コンポジションベンチマークである。
  論文  参考訳（メタデータ） (2026-10-02T20:46:34Z)
• Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
  エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。 結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。 ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
  論文  参考訳（メタデータ） (2026-10-01T12:55:07Z)
• Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
  言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。 公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
  論文  参考訳（メタデータ） (2026-09-28T03:10:18Z)
• Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing [0.0635655952373977]
  本研究では,金融エージェントの評価において,実行性能の解釈と監査スコアの2つの限界について検討する。 StudyAでは、3つの合成セッティング上での独立実行とストレスのある実行を比較することで、実行ルールと新しいモデル応答とポートフォリオフィードバックが混在する。 StudyBでは,従来のタスクをゼロ,1,2の欠陥タスクに,明示的なマルチラベルプロンプトで置き換えることによって,1から2の欠陥からの目標違反リコールの減少は,監査と情報源の組み合わせの5つのうち5つにおいて肯定的である。
  論文  参考訳（メタデータ） (2026-09-26T08:54:21Z)
• RRSI: Regularized Recursive Self-Improvement of Agent Harnesses [76.77275934611428]
  正規化再帰的自己改善型エージェント・ハーネス(RRSI) 本稿では、正規化の原則を取り入れたRRSIを紹介し、進化候補の提案と選択を制約することで自己改善を活用する。 RRSIは5つのアウト・オブ・ディストリビューション・ベンチマークで14.1ポイント、最大4.7ポイントを獲得し、非正規化進化よりも30%少ないポリシートークンで動作するハーネスを生産している。
  論文  参考訳（メタデータ） (2026-09-21T17:54:49Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• PACE: Anytime-Valid Acceptance Tests for Self-Evolving Agents [0.0]
  自己進化型エージェントは、自身のプロンプト、スキル、オーモーフィケーションの変更を繰り返し提案することで改善する。 Qwen2.5 のエージェント (0.5B-3B) が GSM8K, SVAMP, ARC-Challenge のプロンプトレベルで自己進化する際、greedy は 30-42% の偽陽性と 10-33% の有害な編集をコミットする。 PACEは実際のものをコミットし、グリーディのホールトアウトの精度を著しく低いばらつきと約18%低い評価コストで一致させる。
  論文  参考訳（メタデータ） (2026-06-06T11:12:11Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
  我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。 成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。 モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
  論文  参考訳（メタデータ） (2025-11-26T01:28:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。