論文の概要: SAGE: A Service Agent Graph-guided Evaluation Benchmark
- arxiv url: http://arxiv.org/abs/2604.09285v1
- Date: Fri, 10 Apr 2026 12:55:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-13 17:57:53.863203
- Title: SAGE: A Service Agent Graph-guided Evaluation Benchmark
- Title（参考訳）: SAGE: サービスエージェントのグラフ誘導評価ベンチマーク
- Authors: Ling Shi, Yuqin Dai, Ziyin Wang, Ning Gao, Wei Zhang, Chaozheng Wang, Yujie Wang, Wei He, Jinpeng Wang, Deiyi Xiong,
- Abstract要約: 本稿では,SAGE(Service Agent Graph-Guided Evaluation)を提案する。
SAGEは構造化されていないSOPを動的ダイアロググラフに形式化し、論理的コンプライアンスの正確な検証を可能にする。
また、モデルが論理的失敗にもかかわらず丁寧な会話ファサードを維持する現象である「共感回復」も観察する。
- 参考スコア（独自算出の注目度）: 27.342044311161654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of Large Language Models (LLMs) has catalyzed automation in customer service, yet benchmarking their performance remains challenging. Existing benchmarks predominantly rely on static paradigms and single-dimensional metrics, failing to account for diverse user behaviors or the strict adherence to structured Standard Operating Procedures (SOPs) required in real-world deployments. To bridge this gap, we propose SAGE (Service Agent Graph-guided Evaluation), a universal multi-agent benchmark for automated, dual-axis assessment. SAGE formalizes unstructured SOPs into Dynamic Dialogue Graphs, enabling precise verification of logical compliance and comprehensive path coverage. We introduce an Adversarial Intent Taxonomy and a modular Extension Mechanism, enabling low-cost deployment across domains and facilitating automated dialogue data synthesis. Evaluation is conducted via a framework where Judge Agents and a Rule Engine analyze interactions between User and Service Agents to generate deterministic ground truth. Extensive experiments on 27 LLMs across 6 industrial scenarios reveal a significant ``Execution Gap'' where models accurately classify intents but fail to derive correct subsequent actions. We also observe ``Empathy Resilience'', a phenomenon where models maintain polite conversational facades despite underlying logical failures under high adversarial intensity. Code and resources are available at https://anonymous.4open.science/r/SAGE-Bench-4CD3/.
- Abstract（参考訳）: LLM(Large Language Models)の開発は、顧客サービスの自動化を触媒としたものだが、パフォーマンスのベンチマークは依然として難しい。
既存のベンチマークは主に静的なパラダイムと単一次元のメトリクスに依存しており、実際のデプロイメントに必要な多様なユーザの振る舞いや構造化された標準運用手順(SOP)への厳格な準拠を考慮できない。
このギャップを埋めるために、自動二軸評価のための汎用マルチエージェントベンチマークであるSAGE(Service Agent Graph-Guided Evaluation)を提案する。
SAGEは構造化されていないSOPをDynamic Dialogue Graphsに形式化し、論理的コンプライアンスと包括的なパスカバレッジの正確な検証を可能にする。
本稿では,ドメイン間の低コストなデプロイメントを実現するとともに,対話データの自動合成を容易にするモジュール拡張機構について紹介する。
評価は、審査員とルールエンジンがユーザとサービスエージェント間のインタラクションを分析し、決定論的基礎真理を生成するフレームワークを介して行われる。
6つの産業シナリオにまたがる27のLLMに関する大規模な実験では、モデルが意図を正確に分類するが、その後の正しいアクションを導出できない重要な「実行ギャップ」が示されている。
また,「共感レジリエンス」は,高い対向強度下での論理的失敗にも拘わらず,モデルが丁寧な会話ファサードを維持する現象である。
コードとリソースはhttps://anonymous.4open.science/r/SAGE-Bench-4CD3/で入手できる。
関連論文リスト
- AutoMIA: Improved Baselines for Membership Inference Attack via Agentic Self-Exploration [49.050688065974605]
メンバーシップ推論攻撃(MIAs)は、機械学習モデルにおけるトレーニングデータの漏洩を評価するための基本的な監査ツールである。
本稿では,自己探索と戦略進化の自動化プロセスとして,メンバーシップ推論を再構築するエージェントフレームワークであるAutoMIAを提案する。
論文 参考訳（メタデータ） (2026-04-01T15:17:45Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Query as Anchor: Scenario-Adaptive User Representation via Large Language Model [28.30329175937291]
静的エンコーディングから動的クエリ認識合成へユーザモデリングをシフトするフレームワークであるQuery-as-Anchorを提案する。
まず,産業規模の事前学習データセットであるUserUを構築し,行動系列とユーザ理解のセマンティクスを整合させる。
クラスタベースのSoft Prompt Tuningを導入し、識別潜在構造を強制する。
デプロイメントでは、シーケンスターミニでのクエリのアンカーにより、無視可能なインクリメンタルレイテンシでKVキャッシュを加速する推論が可能になる。
論文 参考訳（メタデータ） (2026-02-16T06:09:31Z) - AmbiBench: Benchmarking Mobile GUI Agents Beyond One-Shot Instructions in the Wild [30.138230316314534]
本稿では,一方向の指示から双方向の意図のアライメントへ評価をシフトするために,指示明細の分類を取り入れた最初のベンチマークであるAmbiBenchを紹介する。
厳密なレビュープロトコルの下で,25のアプリケーションにまたがる240の生態学的に有効なタスクの厳密なデータセットを構築した。
また,MLLM-as-a-judgeマルチエージェントアーキテクチャを利用した自動フレームワークであるMUSEを開発した。
論文 参考訳（メタデータ） (2026-02-12T09:25:15Z) - AutoSCORE: Enhancing Automated Scoring with Multi-Agent Large Language Models via Structured Component Recognition [27.312190686305588]
大規模言語モデル(LLM)は、自動スコアリングにおいて大きな可能性を示している。
エンド・ツー・エンドのレーダとしての使用は、低い正確性、迅速な感度、限定的な解釈可能性、ルーリックなミスアライメントといった課題に直面している。
本稿では,多エージェント LLM フレームワークである AutoSCORE を提案する。
論文 参考訳（メタデータ） (2025-09-26T05:45:14Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - Dynamic benchmarking framework for LLM-based conversational data capture [0.0]
本稿では,大規模言語モデル(LLM)を評価するためのベンチマークフレームワークを提案する。
生成エージェントシミュレーションを統合して、情報抽出、コンテキスト認識、適応エンゲージメントといった重要次元のパフォーマンスを評価する。
その結果,不明瞭な応答を扱う場合,適応戦略によりデータの抽出精度が向上することが示唆された。
論文 参考訳（メタデータ） (2025-02-04T15:47:47Z) - The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。
本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。
大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
論文 参考訳（メタデータ） (2024-12-06T23:43:59Z) - TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains [19.492393243160244]
大規模言語モデル(LLM)は、高度に専門化された垂直ドメインにデプロイされることが多い。
既存の垂直領域の評価は、通常、静的な単一ターンデータセットの労働集約的な構築に依存している。
垂直領域における自動ベンチマークと探索動的評価のためのフレームワークであるTestAgentを提案する。
論文 参考訳（メタデータ） (2024-10-15T11:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。