論文の概要: Generative AI in Action: Field Experimental Evidence from Alibaba's Customer Service Operations
- arxiv url: http://arxiv.org/abs/2603.29888v1
- Date: Sun, 08 Feb 2026 19:41:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 02:36:13.169148
- Title: Generative AI in Action: Field Experimental Evidence from Alibaba's Customer Service Operations
- Title（参考訳）: Generative AI in Action: Alibabaの顧客サービス運用からの実験的証拠
- Authors: Xiao Ni, Yiwei Wang, Tianjun Feng, Lauren Xiaoyan Lu, Yitong Wang, Congyi Zhou,
- Abstract要約: 本研究では、大規模フィールド実験を活用し、eコマースアフターセールサービスにおける生産AIアシスタントが労働者のパフォーマンスに与える影響を評価する。
Gen AIは、イシュー識別時間とチャット時間によって、サービス速度を大幅に改善した。
顧客再審率によって示される客観的サービス品質に有意な影響を及ぼすことはなかった。
- 参考スコア（独自算出の注目度）: 20.421383249308477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In collaboration with Alibaba, this study leverages a large-scale field experiment to assess the impact of a generative AI assistant on worker performance in e-commerce after-sales service. Human agents providing digital chat support were randomly assigned with access to a gen AI assistant that offered two core functions: diagnosis of customer issues and solution proposals, presented as text messages. Agents retained discretion to adopt, modify, or disregard AI-generated messages. To evaluate gen AI's impact, we estimate both the intention-to-treat (ITT) effect of gen AI access and the local average treatment effect (LATE) of gen AI usage. Results show that gen AI significantly improved service speed, measured by issue identification time and chat duration. Gen AI also improved subjective service quality reflected in customer ratings and dissatisfaction rates, but it had no significant effect on objective service quality indicated by customer retrial rates. The performance improvements stemmed not only from automation but also from changes in the dynamics of agent-customer interactions: agent communication became more informative and efficient, while customers experienced reduced communication burdens. Low performers achieved the greatest improvements in both service speed and quality, narrowing the performance gap. In contrast, top-performing agents showed little improvement in service speed but experienced declines in both subjective and objective service quality. Evidence suggests that this decline results from increased multitasking tendency, proxied by longer shift-away times across concurrent chats, which slowed customer responses and raised abandonment and retrial rates. These findings suggest that gen AI reshapes work, demanding tailored deployment strategies.
- Abstract（参考訳）: 本研究はAlibabaと共同で,eコマースアフターセールサービスにおけるAIアシスタントが労働者のパフォーマンスに与える影響を評価するために,大規模フィールド実験を活用する。
デジタルチャットをサポートするヒューマンエージェントは、顧客問題の診断と、テキストメッセージとして提示されるソリューション提案という2つのコア機能を提供する、ジェネラルAIアシスタントへのアクセスをランダムに割り当てられた。
エージェントはAI生成メッセージの採用、修正、無視の裁量を維持した。
ゲンAIの効果を評価するため、ゲンAIアクセスの意図的処理効果(ITT)と、ゲンAI使用の局所的平均処理効果(LATE)の両方を推定する。
その結果、ジェネラルAIはサービス速度を大幅に改善し、課題識別時間とチャット時間によって測定された。
Gen AIはまた、顧客の評価や不満率に反映された主観的なサービス品質を改善したが、それは顧客の再審率によって示される客観的サービス品質に大きな影響を与えなかった。
パフォーマンスの改善は、自動化だけでなく、エージェント-カストマー相互作用のダイナミクスの変化にも起因している。
ローパフォーマーは、サービススピードと品質の両方において最大の改善を達成し、パフォーマンスのギャップを狭めた。
対照的に、トップパフォーマンスエージェントは、サービス速度をほとんど改善しなかったが、主観的および客観的なサービス品質の低下を経験した。
エビデンスによれば、この減少はマルチタスクの傾向が増し、同時にチャットを切り替える時間が長くなり、顧客の反応が遅くなり、放棄率や再審率も上昇したことが示唆されている。
これらの知見は、gen AIが作業を再確認し、適切なデプロイメント戦略を要求することを示唆している。
関連論文リスト
- Efficiency Without Cognitive Change: Evidence from Human Interaction with Narrow AI Systems [0.0]
狭義のAIツールへの短期的な露出は、コア認知能力を高める。
問題解決や言語理解の標準化には、ポスト前の大きな違いは現れなかった。
論文 参考訳（メタデータ） (2025-10-28T18:55:44Z) - Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。
TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。
We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
論文 参考訳（メタデータ） (2025-10-06T05:03:57Z) - Bias in the Loop: How Humans Evaluate AI-Generated Suggestions [9.578382668831988]
人間とAIのコラボレーションは、医療診断からコンテンツモデレーションに至るまで、業界全体の意思決定を促進する。
これらのコラボレーションが成功するか失敗するかを決定する心理的要因についてはほとんど分かっていません。
我々は,2,784人の参加者によるランダム化実験を行い,AIによる提案に対するタスクデザインと個人特性がどのように人間の反応を形作るかを検討した。
論文 参考訳（メタデータ） (2025-09-10T11:43:29Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - When Models Know More Than They Can Explain: Quantifying Knowledge Transfer in Human-AI Collaboration [79.69935257008467]
我々は,人間とAIの知識伝達能力に関する概念的かつ実験的フレームワークである知識統合と伝達評価(KITE)を紹介する。
最初の大規模人間実験(N=118)を行い,その測定を行った。
2段階のセットアップでは、まずAIを使って問題解決戦略を思いつき、その後独立してソリューションを実装し、モデル説明が人間の理解に与える影響を分離します。
論文 参考訳（メタデータ） (2025-06-05T20:48:16Z) - Assessing Generative AI value in a public sector context: evidence from a field experiment [0.0]
文書理解とデータ分析に関連する2種類の複合タスクの混合証拠が得られた。
ドキュメントタスクでは,Gen AIを用いた治療群は,回答品質スコアが17%,タスク完了時間が34%向上した。
データタスクでは、Gen AI治療群は品質スコアが12%低下し、コントロール群と比較して平均完了時間に有意な差は認められなかった。
論文 参考訳（メタデータ） (2025-02-13T16:43:32Z) - How Performance Pressure Influences AI-Assisted Decision Making [52.997197698288936]
我々は、プレッシャーと説明可能なAI(XAI)技術がAIアドバイステイク行動とどのように相互作用するかを示す。
我々の結果は、圧力とXAIの異なる組み合わせで複雑な相互作用効果を示し、AIアドバイスの行動を改善するか、悪化させるかのどちらかを示す。
論文 参考訳（メタデータ） (2024-10-21T22:39:52Z) - Understanding the Effect of Counterfactual Explanations on Trust and
Reliance on AI for Human-AI Collaborative Clinical Decision Making [5.381004207943597]
本研究は,7人のセラピストと10人のレイパーを対象に,ストローク後生存者の運動の質を評価するための実験を行った。
我々は2種類のAI説明なしで、彼らのパフォーマンス、タスクの合意レベル、AIへの依存を分析した。
我々の研究は、AIモデルの精度をより正確に見積り、間違ったAI出力に対する過度な信頼を減らすために、反事実的説明の可能性について論じている。
論文 参考訳（メタデータ） (2023-08-08T16:23:46Z) - Advancing Human-AI Complementarity: The Impact of User Expertise and
Algorithmic Tuning on Joint Decision Making [10.890854857970488]
ユーザのドメイン知識、AIシステムのメンタルモデル、レコメンデーションへの信頼など、多くの要因がヒューマンAIチームの成功に影響を与える可能性がある。
本研究は,非自明な血管ラベル作成作業において,血管が流れているか停止しているかを被験者に示すことを目的とした。
以上の結果から,AI-Assistantからの推薦はユーザの意思決定に役立つが,AIに対するユーザベースラインのパフォーマンスや,AIエラー型の相補的チューニングといった要因は,チーム全体のパフォーマンスに大きな影響を及ぼすことが示された。
論文 参考訳（メタデータ） (2022-08-16T21:39:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。