論文の概要: CARGO: Context-Aware Retrieval-Gated Evaluation of Agentic AI in Production

• arxiv url: http://arxiv.org/abs/2609.30471v1
• Date: Thu, 24 Sep 2026 19:10:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.112423
• Title: CARGO: Context-Aware Retrieval-Gated Evaluation of Agentic AI in Production
• Title（参考訳）: CARGO: 生産におけるエージェントAIの評価
• Abstract要約: CARGOは、検索された参照を手続き的な例証として扱い、ライブインスタンスの観察されたコンテキストにおける事実判断を根拠とするフレームワークである。 CARGO-Benchでは、標準基準に基づく裁判官は、正しい実体変換された回答の100%を罰し、非形式的である(差別指標DI 0)。 CARGOはまた、独自の設計の制限を公開している。エンティティ値を保護する冗長性は、手続き的腐敗の検出を抑制する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reference-based LLM-as-a-judge evaluation assumes the reference answer is the target. In deployed agentic systems that operate over dynamic entities (support cases, assets, accounts), the closest available reference typically applies the correct procedure to a different entity, so a literal judge penalizes different identifiers, dates, and statuses as errors or hallucinations. We name this failure mode reference-instance divergence (RID). We propose CARGO, a framework that (i) treats retrieved references as procedural exemplars and grounds factual judgments in the live instance's observed context, (ii) assigns each claim a three-way status (supported, contradicted, unverifiable) and penalizes only contradictions, and (iii) gates evaluation by retrieval confidence, casting production evaluation as selective prediction. We introduce CARGO-Bench, a perturbation-based diagnostic suite with ground truth by construction that separates leniency from discrimination. On CARGO-Bench (246 items, two judge models, 7,872 judgments), the standard reference-based judge penalizes 100% of correct entity-transplanted answers and is uninformative (discrimination index DI ~ 0); supplying the live facts without reframing changes nothing. CARGO eliminates these false penalties (0/50) while retaining near-complete contradiction recall (50/50 and 49/50), raising DI to 0.58 [0.48, 0.68]; a rubric-swap control attributes most of the effect to context-grounded dimension definitions. CARGO also exposes a limitation of its own design: the leniency that protects entity values suppresses detection of procedural corruptions (20% recall). A post-hoc fix does not close the gap, and an LLM-as-annotator study with written guidelines and adjudication shows the same blind spot. We release a preregistered protocol for extending the evaluation to expert agreement, risk-coverage, and cost on production traffic.
• Abstract（参考訳）: 基準ベースLCM-as-a-judge評価は、基準回答がターゲットであると仮定する。 動的エンティティ(サポートケース、アセット、アカウント)上で動作するデプロイされたエージェントシステムでは、最も近い参照は、通常、異なるエンティティに対して正しい手順を適用するため、リテラル判事は、異なる識別子、日付、ステータスをエラーまたは幻覚として罰する。 この障害モードをRID(Reference-instance divergence)と呼ぶ。 私たちはCARGOというフレームワークを提案します。 一 検索された参考文献を手続上の先例として扱い、かつ、実演者の観察した文脈における事実判断の根拠とする。 (二)各クレームに三方格(支持、矛盾、検証不能)を付与し、矛盾のみを罰する。 三 検索信頼度によるゲート評価、選別予測として生産評価を行う。 CARGO-Bench(摂動に基づく診断スイート)を構築により導入し、冗長性を識別から分離する。 CARGO-Bench (246項目、2つの審査モデル、7,872の判断)では、標準基準に基づく裁判官は、正しい実体移植された回答の100%を罰し、非形式的である(差別指標DI ~0)。 CARGOは、ほぼ完全な矛盾リコール(50/50と49/50)を維持しながら、これらの偽の罰則(0/50)を排除し、DIを0.58[0.48, 0.68]に引き上げる。 CARGOはまた、独自の設計の制限を公開している。エンティティ値を保護する冗長性は、手続き的腐敗の検出を抑制する(20%のリコール)。 ポストホックの修正はギャップを埋めるものではなく、LCM-as-annotatorによるガイドラインと判断による研究は、同じ盲点を示している。 評価を専門家の合意、リスクカバレッジ、生産トラフィックのコストにまで拡張するための事前登録されたプロトコルをリリースする。

関連論文リスト

• When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
  LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。 観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
  論文  参考訳（メタデータ） (2026-09-21T07:06:37Z)
• CARRE: Counterfactual Action Retrieval and Reason Evaluation for Explainable Churn Prescription [5.823033362443801]
  CARREは,検索強化候補生成,費用対効果評価,大規模言語モデル(LLM)推論を組み合わせた3段階のフレームワークである。 IBM Telco Customer Churnデータセットでは、CARREは通常のSHAPベースラインよりも79.8%高い平均モデル予測リスク削減を実現している。
  論文  参考訳（メタデータ） (2026-09-09T06:08:02Z)
• Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents Against Executed Replay [0.6768558752130311]
  単一エージェント環境において,実行されたリプレイからポリシー条件の真偽を検査する。 段階的な信用シグナルは、限界整合シャッフル制御以上の信頼度の高いインクリメンタル忠実度を示すものではない。 信頼のみのルータは、チャンスレベルにおいて重要なステップを回復するが、1ターンあたりの審査コストを13.1%削減する。
  論文  参考訳（メタデータ） (2026-08-20T08:04:00Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning [0.6138671548064355]
  大型言語モデル (LLMs) は、チェーン・オブ・ソート (CoT) 推論の判断としてますます使われている。 C2-Faithは、因果性(各ステップは以前の文脈から論理的に従うのか? 二つの因果検出,因果ステップの定位,カバレッジスコアの3つの課題において,フロンティア判事の評価を行った。
  論文  参考訳（メタデータ） (2026-03-05T13:36:47Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。