論文の概要: Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills

• arxiv url: http://arxiv.org/abs/2610.14346v1
• Date: Fri, 09 Oct 2026 21:45:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.035048
• Title: Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills
• Title（参考訳）: 実世界の顧客サポートスキルにおけるエージェントワークフロー実行者としてのLLMの評価
• Abstract要約: 本稿では,実世界の書き起こしからリカレントをマイニングし,それらを構造化されたスキル記述に変換し,ツール要件にマップし,マルチターンツールを用いた対話を生成するベンチマーク構築パイプラインを提案する。 このベンチマークを用いて、クローズドモデルファミリとデプロイメント指向の1.7Bから14Bパラメータのオープンウェイトモデルにまたがる17の言語モデルの大規模なゼロショット評価を行う。 我々は、GPT-5245.4が広いマージンでリードし、QWEN3.5-9Bが最強のオープンウェイトモデル(20B以下)である一貫したランキングを見出した。 また、審査員の選択は無視できる方法論の詳細ではないこともわかりました。
• 参考スコア（独自算出の注目度）: 10.890369572793025
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enterprise customer-support agents increasingly rely on Large Language Models (LLMs) to execute bounded, tool-using workflows. We study this problem through the lens of Skill LLMs: specialized executors that operate within a selected skill context and must complete a narrow, stateful workflow under policy and tool constraints. We present a benchmark construction pipeline that mines recurrent workflows from real-world transcripts, converts them into structured skill descriptions, maps them to tool requirements, simulates environment state with Model Context Protocol (MCP)-compatible mocks, and generates multi-turn tool-using dialogues. Using this benchmark, we conduct a large-scale zero-shot evaluation of 17 language models spanning closed model families and deployment-oriented open-weight models from 1.7B to 14B parameters, each judged independently by five strong LLM judges, plus a deterministic rule-based evaluator that checks tool coverage, hallucinated tool use, and unsupported claims. We find a consistent ranking in which GPT-5.4 leads by a wide margin and QWEN3.5-9B is the strongest open-weight model (below 20B), outperforming several closed baselines under every judge. We also find that judge choice is not a negligible methodological detail: pairwise judge agreement on the pass/fail verdict averages Kappa=0.524 across 10 judge pairs. These results suggest that comprehensive zero-shot evaluation of skill execution requires judge reliability as carefully as model capability.
• Abstract（参考訳）: エンタープライズのカスタマーサポートエージェントは、言語モデル(LLM)に依存して、バウンダリでツールを使用するワークフローを実行している。 我々は、この問題をSkill LLMのレンズを通して研究する: 選択したスキルコンテキスト内で動作し、ポリシーとツール制約の下で狭くステートフルなワークフローを完了しなければならない特殊な実行子。 実世界の文書から繰り返し発生するワークフローをマイニングし、それらを構造化されたスキル記述に変換し、それらをツール要件にマップし、モデルコンテキストプロトコル(MCP)互換のモックで環境状態をシミュレートし、マルチターンツールを使った対話を生成するベンチマーク構築パイプラインを提案する。 このベンチマークを用いて、クローズドモデルファミリとデプロイメント指向のオープンウェイトモデルの1.7Bから14Bパラメータにまたがる17の言語モデルの大規模なゼロショット評価を行う。 我々は、GPT-5.4が広いマージンをリードし、QWEN3.5-9Bが最強のオープンウェイトモデル(20B以下)である一貫したランキングを見つけ、すべての審査員の下でいくつかのクローズドベースラインを上回っている。 また,10対の評決平均であるKappa=0.524について,2対の評決合意が成立している。 これらの結果から, 総合的なゼロショット評価には, モデル能力と同じくらい慎重に判断信頼性を判断する必要があることが示唆された。

関連論文リスト

• SLMJury: Can Small Language Models Judge as Well as Large Ones? [1.5990700377571574]
  SLMJury(Small Language Model (SLM) 評価フレームワーク)を2つのパラダイムの審査対象として紹介する。 我々は10のベンチマークで4つのモデルファミリーから16のSLM判定値(0.6B-14Bパラメータ)をベンチマークした。 信頼性の高い自動評価は大きなプロプライエタリなモデルを必要としないが、単一のSLMが支配的ではない。
  論文  参考訳（メタデータ） (2026-06-05T19:38:15Z)
• CCTU: A Benchmark for Tool Use under Complex Constraints [66.87622847854337]
  複雑な制約下での大規模言語モデル(LLM)を評価するためのベンチマークであるCCTUを紹介する。 ベンチマークは、さまざまなツール使用シナリオに対して、慎重にキュレートされ、挑戦的なテストケースが200から成っている。 ステップレベルの検証を行い、コンプライアンスを強制する実行可能な制約検証モジュールを開発する。
  論文  参考訳（メタデータ） (2026-03-16T14:05:13Z)
• JudgeBoard: Benchmarking and Enhancing Small Language Models for Reasoning Evaluation [13.831735556002426]
  小型言語モデル(SLM)は様々な推論タスクを約束している。 解答の正しさを判断する能力は、大言語モデル(LLM)と比較しても明らかでない。
  論文  参考訳（メタデータ） (2025-11-20T01:14:39Z)
• PentestJudge: Judging Agent Behavior Against Operational Requirements [0.0]
  PentestJudgeは、侵入テストエージェントの操作を評価するシステムである。 判定エージェントとして機能するモデルをいくつか評価し、最良のモデルがF1スコア0.83まで到達した。
  論文  参考訳（メタデータ） (2025-08-04T21:52:50Z)
• MCPEval: Automatic MCP-based Deep Evaluation for AI Agent Models [76.72220653705679]
  我々は、エンドツーエンドタスク生成とインテリジェントエージェントの深い評価を自動化するオープンソースのフレームワークであるMCPEvalを紹介する。 MCPEvalはメトリクスを標準化し、ネイティブエージェントツールとシームレスに統合し、評価パイプラインを構築するための手作業を排除する。 実世界の5つのドメインにまたがる実証的な結果から、ニュアンスのある、ドメイン固有のパフォーマンスを明らかにする効果が示された。
  論文  参考訳（メタデータ） (2025-07-17T05:46:27Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• TALEC: Teach Your LLM to Evaluate in Specific Domain with In-house Criteria by Criteria Division and Zero-shot Plus Few-shot [3.0105173516143395]
  本稿では,モデルに基づく評価手法 TALEC を提案する。 ユーザは自分の評価基準を柔軟に設定でき、インコンテキストラーニング(ICL)を使って審査員にこれらの評価基準を教えることができる。 TALECは人間の嗜好を正確に反映する強力な能力を示し、人間の判断と80%以上の相関を達成している。
  論文  参考訳（メタデータ） (2024-06-25T10:02:42Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。