論文の概要: SmartSalesBench: A Resistance-Aware Multi-Turn Benchmark for Evaluating LLM Sales Agents
- arxiv url: http://arxiv.org/abs/2610.12975v1
- Date: Fri, 09 Oct 2026 04:21:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.385498
- Title: SmartSalesBench: A Resistance-Aware Multi-Turn Benchmark for Evaluating LLM Sales Agents
- Title（参考訳）: SmartSalesBench: LLM販売エージェント評価のための抵抗性を考慮したマルチTurnベンチマーク
- Abstract要約: SmartSalesBenchは、大規模言語モデル(LLM)セールスエージェントを心理的に根拠があり、耐性のあるバイヤーペルソナに対して評価するために設計された、最初のマルチターンの会話ベンチマークである。
ベンチマークには5つのエージェントプロファイル、12の購入者ペルソナ、6つの価格階層にわたる15のスマートフォン製品、合計13,680のセッションで3つのイテレーションで制御された4つの実験が含まれている。
- 参考スコア（独自算出の注目度）: 0.434964016971127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present SmartSalesBench, the first multi-turn conversational benchmark explicitly designed to evaluate large language model (LLM) sales agents against psychologically grounded, resistant buyer personas. Existing task-oriented dialogue benchmarks assume cooperative users and measure task completion; SmartSalesBench inverts this assumption, placing agents against personas programmed to resist and challenge across conversations of up to twenty turns. The benchmark includes five agent profiles, twelve buyer personas, fifteen smartphone products across six price tiers, and four controlled experiments with 3 iterations totaling 13,680 sessions. Both sales-agent and buyer persona generations are grounded through retrieval-augmented generation (RAG). We introduce nine evaluation metrics grouped into three tiers: primary outcome metrics (CR, BRS, RIR), secondary quality metrics (SMS, PFS, ETI), and exploratory metrics planned for future reporting (ITS, ARI, SPI). Our evaluation combines automated LLM-as-judge scoring with internal human assessment (n = 50, \k{appa} = 0.71, Pearson r = 0.81 with BRS).
- Abstract（参考訳）: We present SmartSalesBench, a first multi-turn conversational benchmark designed to evaluate large language model (LLM) sales agent against Psycholy grounded, resistant buyer personas。
既存のタスク指向の対話ベンチマークでは、協力的なユーザを仮定し、タスク完了を計測する。SmartSalesBenchはこの仮定を逆転し、最大20ターンまでの会話に抵抗し、挑戦するようにプログラムされたペルソナに対してエージェントを配置する。
ベンチマークには5つのエージェントプロファイル、12の購入者ペルソナ、6つの価格階層にわたる15のスマートフォン製品、合計13,680のセッションで3つのイテレーションで制御された4つの実験が含まれている。
セールスエージェントおよびバイヤーペルソナ世代は、検索強化世代(RAG)によって接地される。
評価基準は, 一次結果指標(CR, BRS, RIR), 二次品質指標(SMS, PFS, ETI), 将来の報告のための探索指標(ITS, ARI, SPI)の3段階に分類される。
LLM-as-judge自動評価と内部評価(n = 50, \k{appa} = 0.71, Pearson r = 0.81, BRS)を組み合わせた。
関連論文リスト
- GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents [5.041247893188969]
GAUGEは,ゲートのランクが確定可能な報酬と一致するかどうかを測定する,再利用可能なオフラインプロトコルである。
満足感は基本的にタスクの成功に関する情報を 含まないのです
そこで我々は,無判定完備ビットをゼロコストトリップワイヤとしてトランニケーションレグレッションを補正するキャリブレート・テイントラストカデンスを提案する。
論文 参考訳（メタデータ） (2026-09-10T20:29:28Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - Iterating Toward Better Search: A Two-Agent Simulation Framework for Evaluating Agentic Search Architectures in E-Commerce [5.346615622025758]
本稿では,対話型ショッピングアシスタントアーキテクチャを評価するためのモジュール型2エージェントシミュレーションフレームワークを提案する。
実験間でバイヤー定数を保持することで、同一のシナリオ上での応答設計の制御された比較が可能になる。
ローリングウィンドウメモリは、すべての品質指標において意図抽出メモリより優れ、クエリ毎に35%高速である。
論文 参考訳（メタデータ） (2026-06-11T05:27:42Z) - Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。
MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。
この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
論文 参考訳（メタデータ） (2026-05-21T07:42:47Z) - ActuBench: A Multi-Agent LLM Pipeline for Generation and Evaluation of Actuarial Reasoning Tasks [0.0]
ActuBenchは、アクチュアリアセスメントアイテムの自動生成と評価のためのパイプラインである。
1つのエージェントがアイテムをドラフトし、1つはイントラクタを構築し、3つ目は独立して両方のステージを検証し、バウンドワンショットの修復ループを駆動する。
アイテム、モデルごとのレスポンス、完全なリーダーボードは、ブラウズ可能なWebインターフェースとして公開される。
論文 参考訳（メタデータ） (2026-04-22T07:20:03Z) - Sell More, Play Less: Benchmarking LLM Realistic Selling Skill [1.1560747347923173]
SalesLLMベンチマークは、Financial ServicesとConsumer Goodsをカバーする現実的なアプリケーションから構築されている。
SalesLLMベンチマークのスコアは、専門家の人間格付けと強く相関している。
論文 参考訳（メタデータ） (2026-04-08T13:06:37Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T14:39:59Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories [61.38499597241457]
我々は,LLM審査員によるWebエージェント評価の有効性を評価する最初のベンチマークであるAgentRewardBenchを提案する。
ベンチマークを用いて,12名のLLM審査員を評価し,全てのベンチマークでLLMが排他的でないことを発見した。
また、一般的なベンチマークで使用されるルールベースの評価は、Webエージェントの成功率を過小評価する傾向にあることも見出した。
論文 参考訳（メタデータ） (2025-04-11T19:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。