論文の概要: Talk, Evaluate, Diagnose: User-aware Agent Evaluation with Automated Error Analysis

• arxiv url: http://arxiv.org/abs/2603.15483v1
• Date: Mon, 16 Mar 2026 16:14:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.579885
• Title: Talk, Evaluate, Diagnose: User-aware Agent Evaluation with Automated Error Analysis
• Title（参考訳）: 講演, 評価, 診断: 自動エラー分析によるユーザ認識エージェントの評価
• Authors: Penny Chong, Harshavardhan Abichandani, Jiyuan Shen, Atin Ghosh, Min Pyae Moe, Yifan Mai, Daniel Dahlmeier,
• Abstract要約: 効果的なエージェント評価は、会話の質、効率性、およびエージェントエラーの体系的診断を取り入れて、正確性のみに留まらないと論じる。 エージェントの旋回効率と中間進捗を両立させる新しい指標を提案する。 TEDフレームワークは、モデルとユーザの専門知識レベルをまたいだエージェントパフォーマンスに関する新たな洞察を明らかにします。
• 参考スコア（独自算出の注目度）: 3.3237915628874632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent applications are increasingly adopted to automate workflows across diverse tasks. However, due to the heterogeneous domains they operate in, it is challenging to create a scalable evaluation framework. Prior works each employ their own methods to determine task success, such as database lookups, regex match, etc., adding complexity to the development of a unified agent evaluation approach. Moreover, they do not systematically account for the user's role nor expertise in the interaction, providing incomplete insights into the agent's performance. We argue that effective agent evaluation goes beyond correctness alone, incorporating conversation quality, efficiency and systematic diagnosis of agent errors. To address this, we introduce the TED framework (Talk, Evaluate, Diagnose). (1) Talk: We leverage reusable, generic expert and non-expert user persona templates for user-agent interaction. (2) Evaluate: We adapt existing datasets by representing subgoals-such as tool signatures, and responses-as natural language grading notes, evaluated automatically with LLM-as-a-judge. We propose new metrics that capture both turn efficiency and intermediate progress of the agent complementing the user-aware setup. (3) Diagnose: We introduce an automated error analysis tool that analyzes the inconsistencies of the judge and agents, uncovering common errors, and providing actionable feedback for agent improvement. We show that our TED framework reveals new insights regarding agent performance across models and user expertise levels. We also demonstrate potential gains in agent performance with peaks of 8-10% on our proposed metrics after incorporating the identified error remedies into the agent's design.
• Abstract（参考訳）: エージェントアプリケーションは、さまざまなタスクにわたるワークフローを自動化するために、ますます採用されている。 しかし、それらが運用する異種ドメインのため、スケーラブルな評価フレームワークを作成するのは難しい。 以前の作業では、それぞれが独自のメソッドを使用して、データベースのルックアップやregex Matchなどのタスク成功を判断し、統合されたエージェント評価アプローチの開発に複雑さを追加する。 さらに,インタラクションにおけるユーザの役割や専門知識を体系的に説明せず,エージェントのパフォーマンスに関する不完全な洞察を提供する。 効果的なエージェント評価は、会話の質、効率性、およびエージェントエラーの体系的診断を取り入れて、正確性のみに留まらないと論じる。 これを解決するために、TEDフレームワーク(Talk, Evaluate, Diagnose)を紹介します。 1) 講演: ユーザとエージェントのインタラクションに,再利用可能なジェネリックエキスパートと非専門家のペルソナテンプレートを活用する。 2)評価: LLM-as-a-judgeで自動的に評価されるツールシグネチャや自然言語グレーディングノートなどのサブゴールを表現して既存のデータセットを適応する。 本稿では,ユーザの認識した設定を補完するエージェントのターン効率と中間進捗を両立させる新しい指標を提案する。 (3) 診断: 判断とエージェントの不整合を分析し, 共通エラーを明らかにし, エージェント改善のための実用的なフィードバックを提供する自動エラー解析ツールを導入する。 TEDフレームワークは、モデルとユーザの専門知識レベルをまたいだエージェントパフォーマンスに関する新たな洞察を明らかにします。 また,提案手法をエージェント設計に組み込んだ結果,提案手法の8～10%のピークでエージェント性能が向上する可能性を示した。

関連論文リスト

• XAI for Coding Agent Failures: Transforming Raw Execution Traces into Actionable Insights [0.0]
  我々は、生エージェントの実行トレースを構造化された人間解釈可能な説明に変換する、体系的な説明可能なAI(XAI)アプローチを提案する。 提案手法では,障害原因の同定を2.8倍高速に行うことができ,実際の実行トレースよりも73%高い精度で修正を提案する。
  論文  参考訳（メタデータ） (2026-03-06T06:18:20Z)
• AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios [49.90735676070039]
  持続時間と複雑さが増大するタスクを効果的に処理するAIエージェントの能力は、成長を続けている。 エージェントタスクの多様性に十分対処することなく,タスクの難易度の向上を優先している。 本稿では,自然言語命令とAIエージェントを多種多様な日常タスクに活用できるかどうかを判定するエージェントIF-OneDayを提案する。
  論文  参考訳（メタデータ） (2026-01-28T13:49:18Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
  我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。 エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。 私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
  論文  参考訳（メタデータ） (2025-10-10T19:04:28Z)
• AgentCompass: Towards Reliable Evaluation of Agentic Workflows in Production [4.031479494871582]
  本稿では,エージェントパイプラインのデプロイ後監視と推論に特化して設計された,最初の評価フレームワークであるAgentを紹介する。 Agentは、主要なメトリクスに関する最先端の結果を達成すると同時に、人間のアノテーションで見逃された重要な問題を明らかにする。
  論文  参考訳（メタデータ） (2025-09-18T05:59:04Z)
• Tell Me More! Towards Implicit User Intention Understanding of Language Model Driven Agents [110.25679611755962]
  現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。 Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。 私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
  論文  参考訳（メタデータ） (2024-02-14T14:36:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。