論文の概要: Closed-Loop Agent Evaluation: Layered Measurement and Self-Calibration
- arxiv url: http://arxiv.org/abs/2611.07051v1
- Date: Wed, 04 Nov 2026 19:11:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.432943
- Title: Closed-Loop Agent Evaluation: Layered Measurement and Self-Calibration
- Title（参考訳）: 閉ループエージェントの評価:層状測定と自己校正
- Abstract要約: 本稿では,デプロイエージェントの評価手法であるクローズドループ評価を提案する。
評価をバイアス付きレーダと検閲された結果の下での性能評価としてモデル化する。
内部ループはエビデンス、ルール、メトリクス自体を監査し、外部ループはエージェントの改善を促進するためにコンポーネントごとの回帰チェックを使用する。
- 参考スコア（独自算出の注目度）: 2.3204178451683264
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Once an agent is live, teams want to know whether it is doing its job, not just whether it throws errors. Yet most evaluation is one-off: a benchmark run, a look at traces, a single score. Its conclusions neither check themselves nor reach the agent. We propose closed-loop evaluation, an evaluation method for deployed agents. It models evaluation as performance estimation under biased raters and censored outcomes, and it requires every level's conclusion to trace back to atomic data and to be computed by versioned rules. The method covers four levels of analysis (span, trace, conversation and engagement), measures along a spine of Execution, Substance, Trajectory and Results, treats Conduct as a constraint throughout, and uses Provenance and Adjudication components to certify the evidence and the evaluators. Evaluator agents generated by an Agent Factory carry these components, each with a domain knowledge pack and an adapter harness. Two loops close the evaluation: an inner loop audits the evidence, rules and metrics themselves, and an outer loop uses per-component regression checks to drive agent improvement. We also give a pipeline that runs this process automatically. Using the business-analysis agent SharpInsight as a case and porting the method to public conversation data, we show how problems differ across levels and how evidence-and-rule judgment is more reliable than holistic scoring (ICC 0.86 vs. 0.81; kappa 0.81 vs. 0.63).
- Abstract（参考訳）: エージェントが稼働すると、チームは、エラーを投げるだけでなく、仕事をしているかどうかを知りたがる。
ベンチマークの実行、トレースの確認、スコアの1つです。
その結論は、自分自身をチェックせず、エージェントにも届かなかった。
本稿では,デプロイエージェントの評価手法であるクローズドループ評価を提案する。
バイアス付きレーダと検閲された結果の下でのパフォーマンス評価としての評価をモデル化し、すべてのレベルの結論をアトミックデータに遡り、バージョニングされたルールによって計算する必要がある。
この方法は4つのレベルの分析(スパン、トレース、会話、エンゲージメント)、実行、物質、軌道、結果の軸に沿った測定、行動の制約を全体にわたって扱い、証拠と評価の認証にProvenanceとAdjudicationコンポーネントを使用する。
Agent Factoryによって生成された評価エージェントは、これらのコンポーネントを持ち、それぞれにドメイン知識パックとアダプタハーネスを持っている。
内部ループはエビデンス、ルール、メトリクス自体を監査し、外部ループはエージェントの改善を促進するためにコンポーネントごとの回帰チェックを使用する。
また、このプロセスを自動的に実行するパイプラインも提供します。
ビジネス分析エージェントのSharpInsightをケースとして使用し、公開会話データにメソッドを移植し、問題がどのようにレベルによって異なるか、そしてエビデンス・アンド・ルールの判断が全体的スコア(ICC 0.86 vs. 0.81; kappa 0.81 vs. 0.63)よりも信頼性が高いかを示す。
関連論文リスト
- Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents [0.0]
我々は,モジュールエージェントに対して,計画,行動,検査,精査を行うクレーム固有の検証監査を導入する。
エージェントをスコアする代わりに、監査はエビデンスをスコアする。
論文 参考訳（メタデータ） (2026-10-01T09:17:47Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - CARGO: Context-Aware Retrieval-Gated Evaluation of Agentic AI in Production [0.0]
CARGOは、検索された参照を手続き的な例証として扱い、ライブインスタンスの観察されたコンテキストにおける事実判断を根拠とするフレームワークである。
CARGO-Benchでは、標準基準に基づく裁判官は、正しい実体変換された回答の100%を罰し、非形式的である(差別指標DI 0)。
CARGOはまた、独自の設計の制限を公開している。エンティティ値を保護する冗長性は、手続き的腐敗の検出を抑制する。
論文 参考訳（メタデータ） (2026-09-24T19:10:52Z) - The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean [2.822987192839875]
エージェントベンチマークは、大規模言語モデル(LLM)の比較やデプロイメント決定のガイドにますます使用されている。
実行クリティカルな決定はモデルの代わりに固定された足場によって行われ、スコアラはタスクの正しさを反映しない基準を用いて出力を評価する。
ベンチマークスコアをモデル能力の証拠として解釈できる場合に特徴付ける測定理論の枠組みでこれらの問題を統一する。
論文 参考訳（メタデータ） (2026-09-06T21:23:11Z) - HarnessEval-W: Agentifying the Evaluation of Visual Worlds [149.63310396189317]
HarnessEval-Wは、世界モデルのベンチマークのためのエージェント化された評価パイプラインである。
HarnessEval-Wは固定ルーブリックを適用するのではなく、評価問題を測定可能なサブプロブレムに分解する。
330件の評価事例に対して,HarnessEval-Wを18の代表的な世界モデルに適用した。
論文 参考訳（メタデータ） (2026-08-17T17:43:24Z) - AEVAL: From Anecdotal to Deterministic Testing for Agentic Skill Workflows [1.6785141970297952]
AEVAL(Agentic Evaluation)はCI統合フレームワークで、このプラクティスをエージェントスキルのための決定論的かつ再現可能なテストパイプラインに置き換える。
すべてのスキル変更がテストイベントをトリガーする。スキルは、自動エグゼキュータ内の開発者が宣言した評価契約に対して実行される。
鍵となる要素は、実行子とグレーダの間の構造的分離であり、微妙だが広汎な障害モードを防止する。
論文 参考訳（メタデータ） (2026-07-16T21:33:05Z) - What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある
SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。
SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
論文 参考訳（メタデータ） (2026-06-01T03:18:01Z) - Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。
REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。
私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
論文 参考訳（メタデータ） (2026-05-18T23:55:08Z) - Reinforced Agent: Inference-Time Feedback for Tool-Calling Agents [6.158612515104146]
エージェントフィードバックとレビュアーフィードバックのトレードオフを測定するために、ヘルプフルネス・ハームフルネスメトリクスを導入します。
我々はBFCLとTau2-Bench(マルチターンステートフルシナリオ)に対するアプローチを評価し、無関係検出では+5.5%、マルチターンタスクでは+7.1%を達成した。
GPT-4oでは,評価モデルo3-miniが3:1の利益率と2.1:1の利益率を達成した。
論文 参考訳（メタデータ） (2026-04-29T22:09:47Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。