論文の概要: Selling in the Wild: Benchmark and Randomized Field Evidence for a Sales Agent Trained on Commercial Conversations

• arxiv url: http://arxiv.org/abs/2610.25461v1
• Date: Sun, 18 Oct 2026 18:45:04 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:13:37.211142
• Title: Selling in the Wild: Benchmark and Randomized Field Evidence for a Sales Agent Trained on Commercial Conversations
• Title（参考訳）: 野生における販売:商談による販売エージェントのベンチマークとランダム化フィールドエビデンス
• Abstract要約: 460万件の同意を得て、未確認の商業会話を微調整した営業担当者であるJavoが、フロンティアの汎用モデルよりも売れているかどうかを検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We test whether Javo, a sales agent fine-tuned on 4.6 million consented, de-identified commercial conversations, sells better than a frontier general-purpose model and better than human sales associates. The evaluation has four parts. Study 1 scores the agent on two public sales benchmarks, SalesLLM and SmartSalesBench, against 10 frontier and open-weight models. Study 2 is a randomized controlled trial on 100 live websites in 14 industries (e-commerce, travel and hospitality, and high-consideration services), run from 1 May to 30 September 2026, in which 14.8 million visitors were randomized to no agent, Javo, or a frontier-model agent with an identical interface, catalog tools and guardrails. Study 3 isolates the effect of the model by comparing those two agent arms. Study 4 compares Javo with each site's own human associates on 20 sites with staffed live chat. Relative to no agent, Javo changed revenue per visitor by +10.0% (95% CI +5.1 to +14.9). Among engaged visitors, it changed conversion by +21.6% relative to the frontier-model agent (95% CI +16.9 to +26.3). Against human associates, its engaged conversion was 11.26% versus 11.20% (non-inferior, margin -7%, one-sided p = 0.004; no significant superiority), at 1.8% of the cost per conversation. Return rates, unsupported product claims and complaint rates met the prespecified safety guardrails.
• Abstract（参考訳）: 460万件の同意を得て、未確認の商業会話を微調整した営業担当者であるJavoが、フロンティアの汎用モデルよりも優れた販売を行い、人間セールスアソシエイトよりも優れた販売を行っているかどうかを検証する。 評価には4つの部分がある。 Study 1は2つの公開セールスベンチマーク、SalesLLMとSmartSalesBenchで10のフロンティアとオープンウェイトモデルに対してエージェントをスコア付けする。 スタディ2(英語: Study 2)は、2026年5月1日から9月30日まで行われた14の産業(eコマース、旅行、宿泊、高会議)における100のウェブサイトのランダム化による試験である。 研究3は、これらの2つのエージェントアームを比較して、モデルの効果を分離する。 Study 4は、Javoを、20のサイト上の各サイトの人間関係と、スタッフ付きライブチャットと比較する。 代理人はいないが、ジャボは訪問者1人当たりの収入を+10.0%(95% CI + 5.1 から +14.9 に変更した。 入場者の中では、フロンティア・モデル・エージェント(95% CI + 16.9 から +26.3)と比較して +21.6% に変換された。 人間の仲間に対して、エンゲージメント・コンバージョンは11.26%対11.20%(非インフレ率、マージン-7%、一方のp = 0.004; 有意な優位性はない)であり、会話当たりのコストの1.8%であった。 返却率、製品請求なし、苦情率は、所定の安全ガードレールを満たした。

関連論文リスト

• BazaarBench: Delegation Safety in Decentralized C2C Marketplaces Run by LLM Agents [54.5370815419817]
  本稿では,大言語モデル(LLM)エージェントの安全性を評価するためのC2CマーケットプレースとベンチマークであるBazaarBenchを紹介する。 オーナシップ、アイテム条件、トランザクション間のコミットメントを追跡する。 我々は、通常の命令、期限の圧力、または他のトレーダーを搾取するための敵の指示の下で、5つのモデルを評価する。
  論文  参考訳（メタデータ） (2026-10-05T17:26:17Z)
• Mind or Message? Auditing Theory of Mind in Multi-Agent Social Simulation [17.51404403306176]
  言語モデルエージェントは、社会的相互作用をシミュレートするためにますます使われています。 我々は、その外見がパートナーの心のモデルか、パートナーが言ったことの表面記録にかかっているか尋ねる。 私たちは、両方の質問が正確な答えを持つ社会シミュレーションを構築します。
  論文  参考訳（メタデータ） (2026-09-21T05:58:28Z)
• When LLM Agents Negotiate: Private Information and Dynamic Bargaining in Supply Chains [7.901350921757907]
  我々は、委譲交渉者が価値を生み出し、それを予測可能に分割し、金銭損失の契約を避けるか検討する。 検証済みのPerfect Bayesian Equilibriumに対して、OpenAI、Google、Alibabaの9つのLMをベンチマークします。 我々は,AIエージェントの均衡基準監査を,割引効率,分散プロファイル,運用信頼性の3次元に沿って確立する。
  論文  参考訳（メタデータ） (2026-07-29T02:17:11Z)
• Who Gets Named: Citation Type Predicts Individual Naming by Grounded Language Models, and a Roster Instrument Captures 0.5% of It [0.0]
  2026年7月24日に1つの2時間窓で2,400件の接地APIコールを発行した。 すべてのレスポンスは、個別のプロフェッショナルを指名するかどうかによってコード化されました。 モデルは25.8%の回答で個人を指名した。
  論文  参考訳（メタデータ） (2026-07-26T23:37:34Z)
• FIFA World Cup 2026 as a Contamination-Free Benchmark for LLM Forecasting Agents: Four Models, a Bookmaker, and 104 Matches [2.8722431362974077]
  大規模言語モデル(LLM)を評価するためのベンチマークとデータセットであるWC2026-Agentsを紹介する。 2026 FIFAワールドカップの104試合ごとに、4つのフロンティアモデルが同一のサーチ・アクト・リフレクト・ループを実行した。 4人のエージェントを、同じ情報環境から引き出された5番目の競合相手と組み合わせます。
  論文  参考訳（メタデータ） (2026-07-20T10:00:11Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing [83.48116811975787]
  我々は、人間のサイバーセキュリティ専門家に対するAIエージェントの包括的な評価を初めて提示する。 我々は、既存の6人のAIエージェントと、新しいエージェントの足場であるARTEMISとともに、10人のサイバーセキュリティ専門家を評価します。 ARTEMISは総合的に第2位で、9つの有効な脆弱性と82%の有効な提出率を発見した。
  論文  参考訳（メタデータ） (2025-12-10T18:12:29Z)
• Shoot First, Ask Questions Later? Building Rational Agents that Explore and Act Like People [81.63702981397408]
  限られたリソースを前提として、言語モデル(LM)に基づいたエージェントは、どの程度合理的に行動するのか? エージェント情報探索をベンチマークし,強化する手法を開発し,人間の行動から洞察を抽出する。 Spotterエージェントでは、LMのみのベースラインよりも14.7%の精度で精度を向上し、Captainエージェントでは、期待情報ゲイン(EIG)を0.227ビット(達成可能なノイズ天井の94.2%)まで引き上げる。
  論文  参考訳（メタデータ） (2025-10-23T17:57:28Z)
• The Leaderboard Illusion [61.27964089648608]
  アリーナは最も有能なAIシステムランキングのリーダーボードとして登場した。 我々は,ゆがんだ競技場に生じた体系的な問題を同定する。
  論文  参考訳（メタデータ） (2025-04-29T15:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。