論文の概要: Evaluating Enterprise Analytics Agents: An End-to-End, Trace-Backed Methodology
- arxiv url: http://arxiv.org/abs/2609.09182v1
- Date: Fri, 28 Aug 2026 20:57:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-13 18:05:10.745843
- Title: Evaluating Enterprise Analytics Agents: An End-to-End, Trace-Backed Methodology
- Title（参考訳）: エンタープライズ分析エージェントの評価: エンドツーエンドのトレース支援方法論
- Abstract要約: 分析エージェントのエンドツーエンド評価手法を提案する。
Gradingでは、人間によるゴールデンな回答、繰り返し実行、実行時のトレースを備えた質問バンクを使用している。
大規模なオンラインマーケットプレースにおいて、制御された内部分析エージェント上で方法論をインスタンス化する。
- 参考スコア（独自算出の注目度）: 10.411056951115214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise analytics agents are not only text-to-SQL systems. They interpret business intent and choose metric definitions. They select data sources, execute tools, inspect results, and produce natural-language answers. Those answers may influence operational, financial, or executive decisions. Grading final answers hides where these agents fail. A plausible answer can use the wrong source of truth. It can skip a required decomposition, claim causality without support, or change its table interpretation across repeated runs. We present an end-to-end evaluation methodology for analytics agents. The methodology grades agent behavior across three families: semantic understanding, execution quality, and reliability. Grading uses question banks with human-written golden answers, repeated runs, and runtime traces. Each run first passes a run-validity check, then receives tiered, abstention-aware scores that feed a decision framework rather than a release gate. We instantiate the methodology on a controlled internal analytics agent at a large online marketplace. The case study uses 50 analytics questions, two anonymous model configurations, and three randomized repetitions per configuration, yielding 300 traces. The higher-capability configuration reduced early refusal from 73% to 0% and increased real-data answers from 21% to 73%. However, it also exhausted the tool-round budget on 16% of runs. It overran the schema-exploration budget on 77% of traces. It changed its table interpretation on 41 of 50 questions. On finance questions with structured golden answers, source table use and escalation improved, but canonical decomposition remained weak in both configurations. These results show why trust in analytics agents requires end-to-end, trace-backed evaluation rather than SQL correctness or final answer quality alone.
- Abstract（参考訳）: エンタープライズ分析エージェントは、テキストからSQLシステムに限ったものではない。
ビジネス意図を解釈し、メトリック定義を選択する。
データソースを選択し、ツールを実行し、結果を検査し、自然言語の回答を生成する。
これらの回答は、運用、財務、あるいは経営陣の判断に影響を及ぼす可能性がある。
最終答は、これらのエージェントが失敗する場所を隠蔽する。
もっともらしい答えは、間違った真理の源を利用することができる。
必要な分解をスキップしたり、サポートなしで因果関係を主張したり、繰り返し実行しながらテーブルの解釈を変更したりできる。
分析エージェントのエンドツーエンド評価手法を提案する。
この方法論は、セマンティック理解、実行品質、信頼性の3つのファミリーにまたがるエージェントの振る舞いを分類する。
Gradingでは、人間によるゴールデンな回答、繰り返し実行、実行時のトレースを備えた質問バンクを使用している。
各ランはまず、実行価チェックをパスし、その後、リリースゲートではなく、決定フレームワークにフィードする、タイトされた、控えめなスコアを受信する。
大規模なオンラインマーケットプレースにおいて、制御された内部分析エージェント上で方法論をインスタンス化する。
ケーススタディでは、50の分析質問と2つの匿名モデル構成、構成毎に3つのランダム化された繰り返しを使用し、300のトレースを生成する。
高機能化により、早期拒絶は73%から0%に減少し、リアルタイム回答は21%から73%に増加した。
しかし、16%のランでツール・ラウンドの予算を浪費した。
77%のトレースでスキーマ探索予算を超過します。
50問中41問で表の解釈を変更した。
構造された黄金の答えを持つ金融問題では、ソーステーブルの使用とエスカレーションが改善されたが、両方の構成では正準分解が弱いままであった。
これらの結果は、分析エージェントへの信頼がSQLの正確性や最終回答の品質よりもエンドツーエンドでトレースバックされた評価を必要とする理由を示している。
関連論文リスト
- SearchAtlas: Analyzing Agentic Search Strategies via Evidential Query Graphs [30.494397052362384]
本稿では,検索トラジェクトリを構造化グラフに変換するフレームワークであるSearchAtlasを紹介する。
我々の自動解析パイプラインは、人間の注釈付きグラフに対して86.4%の平均エッジF1を達成する。
我々は3つのベンチマークで5つの検索エージェントを分析し、検索尺度とエビデンスアグリゲーションの体系的な違いを明らかにした。
論文 参考訳（メタデータ） (2026-09-09T23:09:26Z) - Governance at the Boundary: How Agent Decomposition Degrades Policy Compliance [6.411104724993454]
金融エージェントの統治可能性のベンチマークであるFiducia-benchを紹介します。
エージェントは、そのガバナンスを劣化させるのか?
あるコンポーネントによって発見されたポリシー関連事実は、それらに作用しなければならないコンポーネントに到達する前に、ハンドオフ境界で減衰される。
論文 参考訳（メタデータ） (2026-08-17T03:31:59Z) - Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline [0.0]
本稿では,2つの合成倉庫における400の凍結作業であるWarehouseBenchについて紹介する。
7BエージェントであるQueryProofは、セマンティックレイヤと物理カタログから派生したルールを使用して、その振る舞いを決定する。
論文 参考訳（メタデータ） (2026-08-10T08:14:24Z) - WorkSurface-Bench: Benchmarking Enterprise Agents on Multi-Surface Knowledge Routing [10.956110208321556]
我々は、この機能を表面ルーティングとして評価するためのベンチマークであるWorkSurface-Benchを紹介した。
これは、ペルソナスコープワークスペース-ベンチライトワークスペースから派生した1,151のアトミックタスクを含んでいる。
我々は、6つの制御されたエージェント設定で4つのモデルバックボーンを評価し、27,624個のプロトコルエラーフリーなトラジェクトリを得た。
論文 参考訳（メタデータ） (2026-07-28T14:19:59Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA [7.135926644099901]
我々はAgentFinVQAを提案する。AgentFinVQAはマルチエージェントパイプラインで、各クエリをプランニング、OCR、レジェンドグラウンド、ビジュアルインスペクション、検証に分解する。
FinMMEでは、AgentFinVQAはプロプライエタリなバックボーンを持つゼロショットベースラインにマッチするプライマリバックボーンよりも$+7.68$ ppを改善している。
誤り分析は、疑問の誤解、伝説の混乱、抽出誤りが失敗の3分の2近くを占めていることを示している。
論文 参考訳（メタデータ） (2026-06-18T04:33:07Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - TDAD: Test-Driven Agentic Development - Reducing Code Regressions in AI Coding Agents via Graph-Based Impact Analysis [0.0]
TDADはソースコードとテスト間の依存性マップを構築し、パッチをコミットする前に、エージェントはどのテストを検証して自己修正するかを知っている。
本稿では,AI符号化エージェントの事前変更影響分析を行うオープンソースツールであるTDADを提案する。
論文 参考訳（メタデータ） (2026-03-18T17:38:22Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか?
我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。
これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
論文 参考訳（メタデータ） (2025-04-29T12:39:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。