論文の概要: CRM-Agent-Bench: Benchmarking Tool-Using Agents in Stateful Enterprise Environments

• arxiv url: http://arxiv.org/abs/2610.32004v1
• Date: Fri, 23 Oct 2026 00:05:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.312293
• Title: CRM-Agent-Bench: Benchmarking Tool-Using Agents in Stateful Enterprise Environments
• Title（参考訳）: CRM-Agent-Bench: ステートフルなエンタープライズ環境でのベンチマークツール使用エージェント
• Abstract要約: CRM-Agent-Benchは、9つのビジネスドメインと36の機能タグにわたる555のステートフルなマルチターンタスクのベンチマークである。 これらの契約を通じて,完全なエージェントシステムを評価し,そのカバレッジ,レイテンシ,コストを報告した。
• 参考スコア（独自算出の注目度）: 6.343219561327097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying language agents in real applications demands more than the right answer: an agent must execute a multi-step business process correctly, follow domain-specific rules, and interact with a user across a dialogue, where the gap between saying and doing is the gap between a satisfied customer and a real loss. We argue that a deployable-agent benchmark should jointly assess four facets: the outcome an agent reaches, the trajectory it takes, its operational viability, and its policy compliance. Customer relationship management (CRM), where mutable records meet operational rules and consequential effects, exercises all four. We introduce CRM-Agent-Bench, an execution-grounded benchmark of 555 stateful, multi-turn tasks across nine business domains and 36 capability tags. Each task supplies a task-specific executable contract drawn from checks over actions, arguments, order, response, target state, and protected state; success is the strict conjunction of the checks declared for that task. We evaluate the complete agent system through these contracts and report scored coverage, latency, and cost. Across sixteen systems evaluated on the audited final release, strict success spans 64.32% to 83.60%; the closely grouped leading systems nonetheless diverge sharply in cost and per-domain reliability. CRM-Agent-Bench offers an auditable framework for measuring contract-grounded business-transaction integrity and adherence to task-declared benchmark policies, with a portable structure designed for extension as models improve. Github repository: https://github.com/salesforce-misc/crm-agent-bench
• Abstract（参考訳）: エージェントはマルチステップのビジネスプロセスを正しく実行し、ドメイン固有のルールに従い、対話を通じてユーザと対話する必要があります。 デプロイ可能なエージェントベンチマークは、エージェントが到達した結果、必要な軌道、運用可能性、ポリシーコンプライアンスの4つの側面を共同で評価すべきである、と我々は主張する。 顧客関係管理(CRM) - 変更可能なレコードが運用ルールと連続的な効果を満たす場合、4つすべてを実行する。 CRM-Agent-Benchは、9つのビジネスドメインにまたがる555のステートフルなマルチターンタスクと36の機能タグのベンチマークです。 各タスクは、アクション、引数、順序、応答、ターゲット状態、保護状態のチェックから引き出されたタスク固有の実行可能なコントラクトを提供する。 これらの契約を通じて,完全なエージェントシステムを評価し,そのカバレッジ,レイテンシ,コストを報告した。 監査された最終リリースで評価された16のシステムのうち、厳密な成功は64.32%から83.60%に及ぶ。 CRM-Agent-Benchは、契約に基づくビジネストランザクションの整合性とタスク宣言されたベンチマークポリシーの遵守を測定するための監査可能なフレームワークを提供する。 Githubリポジトリ:https://github.com/salesforce-misc/crm-agent-bench

関連論文リスト

• AgentBoundary: Counterfactual Evaluation of Safety in Tool-Using LLM Agents [13.557645845585776]
  大規模な言語モデルの安全性の整合性は、要求に答えるか拒否するかに大きく取り組まれている。 エージェント的設定では、同じモデルが実行中にパーミッションクリティカルな証拠として振る舞うかどうかを判断しなければならない。 AgentBoundは、ツール使用エージェントの安全性のための、最初の4方向の対物生成・評価フレームワークである。
  論文  参考訳（メタデータ） (2026-09-27T15:19:52Z)
• READY or Not: Reliable Enterprise Agent Deployment [16.430548759635037]
  READYは、企業へのAIエージェントのデプロイを資格付けするためのフレームワークである。 人間のAIシステムの信頼性と運用コストを測定する。 統計学的には保留ケースに該当する。
  論文  参考訳（メタデータ） (2026-09-02T04:34:48Z)
• STAGE: Stateful Translation to Agentic Graph Execution with Policy-Scoped Context and Deterministic Control [0.29360071145551064]
  本稿では、決定論的コードに手続き制御を配置しつつ、ポリシースコープノードにモデル判断を限定するフレームワークSTAGEを提案する。 3つの公開ポリシーフォローベンチマークと、プロプライエタリなバンキングベンチマークであるSmart Disputeについて、STAGEを評価した。
  論文  参考訳（メタデータ） (2026-08-23T18:17:09Z)
• ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
  ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。 全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
  論文  参考訳（メタデータ） (2026-06-30T06:06:08Z)
• MetaCogAgent: A Metacognitive Multi-Agent LLM Framework with Self-Aware Task Delegation [11.486913474115402]
  本稿では,メタ認知自己評価ユニットを備えた多エージェント大規模言語モデル(LLM)フレームワークであるMetaCogAgentを提案する。 MetaCogAgentは、AutoGenよりも5%少ないAPIコールを使用し、アンサンブル投票よりも34%少ないタスク精度を82.4%達成している。
  論文  参考訳（メタデータ） (2026-05-17T07:12:04Z)
• CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows? [150.84850629123287]
  現実的な医療業務のエンドツーエンドの自動化は、現在のベンチマークで不足している3つの機能を強調します。 $-Benchは3つのドメインにわたる長期医療のベンチマークである。 30以上のエージェントハーネス/モデル構成で、最高のエージェントはタスクの28.0%しか解決せず、厳格なパス3では20%をクリアし、単一のセッションですべてのタスクを実行するとパフォーマンスは3.8%に低下する。
  論文  参考訳（メタデータ） (2026-05-15T22:34:31Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• What Is Your Agent's GPA? A Framework for Evaluating Agent Goal-Plan-Action Alignment [3.5583478152586756]
  Agent GPAは、目標を設定し、計画を立て、アクションを実行するエージェントの運用ループに基づいた評価パラダイムである。 フレームワークには、ゴールフルフィルメント、論理一貫性、実行効率、プラン品質、プラン順守の5つの評価指標が含まれている。
  論文  参考訳（メタデータ） (2025-10-09T22:40:19Z)
• CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks in Realistic Environments [90.29937153770835]
  CRMArenaは、プロフェッショナルな作業環境に根ざした現実的なタスクにおいて、AIエージェントを評価するために設計されたベンチマークである。 現状のLDMエージェントはReActプロンプトのタスクの40%以下で成功し,機能呼び出し能力でも55%以下であった。 この結果から,実環境に展開する関数呼び出しやルールフォローにおいて,エージェント機能の向上の必要性が示唆された。
  論文  参考訳（メタデータ） (2024-11-04T17:30:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。