論文の概要: What sentiment analysis can't see: Measuring whether customers were helped, and what went wrong, across 70,000 support conversations

• arxiv url: http://arxiv.org/abs/2606.19698v1
• Date: Thu, 18 Jun 2026 01:50:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.604104
• Title: What sentiment analysis can't see: Measuring whether customers were helped, and what went wrong, across 70,000 support conversations
• Title（参考訳）: 感情分析ができないもの:70万人のサポート会話で、顧客が助けられたか、何が失敗したかを測定する
• Authors: Jason Potteiger,
• Abstract要約: 我々はGPT-5.4を用いて各顧客の満足度を推定し、具体的な問題を報告したかどうかを判断した。 満足度予測は、これらの評価を感情よりもはるかに良く追跡した。 トーンと満足感は会話の44%で一致しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most companies read their customer support data at scale using sentiment analysis, which measures how customers sound rather than whether they were satisfied with the result. We tested a richer alternative on 70,450 support conversations from a leading online fundraising platform: alongside tone, we used GPT-5.4 to estimate each customer's satisfaction and to flag whether they reported a concrete problem, then validated all three readings against the 1-to-5 ratings customers left on the conversations they rated. The satisfaction estimate tracked those ratings far better than sentiment did, correlating at 0.47 against 0.36 and flagging unhappy customers with far fewer false alarms. The structured read also sees what sentiment cannot: tone and satisfaction disagree in 44% of conversations, a single "Neutral" label hides everything from quietly satisfied customers to ones who quietly gave up, and the largest group of all is "tolerated friction," customers who are satisfied but still reporting a fixable problem, a standing issue that no sentiment-based dashboard can surface. The broader finding is that LLM-based annotation can capture far more than the tonality of a customer's language, offering strong potential for new business metrics grounded instead in the customer's state (whether they were satisfied) and the cause of their problem extracted directly from the raw textual data of interactions and feedback.
• Abstract（参考訳）: ほとんどの企業は、感情分析を使って顧客サポートデータを大規模に読み上げており、その結果に満足しているかどうかではなく、顧客がどのように聞こえるかを計測している。 我々は、主要なオンライン資金調達プラットフォームからの70,450件のサポート会話に対して、よりリッチな代替手段をテストした: トーンとともに、各顧客の満足度を見積もり、具体的な問題を報告したかどうかを判断するために、GPT-5.4を使用して、顧客が評価した会話に残した1対5のレーティングに対して、すべての3つの読書を検証した。 満足度の推定では、これらの評価は感情よりもはるかに優れており、0.47対0.36で関連付けられ、不幸な顧客には誤報が少なかった。 一人の"Neutral"ラベルは、静かに満足した顧客から、静かに諦めた顧客まで、すべてを隠す。 より広範な発見は、LCMベースのアノテーションが顧客の言葉のトーニティーよりもはるかに多くを捉え、顧客の状態(満足しているかどうかに関わらず)に新しいビジネスメトリクスが根ざす可能性と、それらの問題の原因が、対話やフィードバックの生のテキストデータから直接抽出される、ということです。

関連論文リスト

• Silent Abandonment in Text-Based Contact Centers: Identifying, Quantifying, and Mitigating its Operational Impacts [0.5312303275762104]
  17社にまたがる顧客の3%から70%が黙秘している。 ある研究では、放棄された顧客の71.3%が黙って、エージェント効率を3.2%、システム容量を15.3%削減した。 我々は,無声放棄行動の疑いやサービス設計の変更を予測し,無声放棄の影響を運用的に緩和する戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-15T15:38:56Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• Silent Abandonment in Contact Centers: Estimating Customer Patience from Uncertain Data [0.0]
  我々は,顧客による静かな放棄がコンタクトセンターに与える影響に焦点をあてる。 顧客は質問に対する回答を待っている間、システムを離れるが、そうする兆候はない。 我々は,チャットとメッセージシステムという2つのタイプのコンタクトセンターにおいて,サイレント・アベンションの顧客を特定する手法を開発した。
  論文  参考訳（メタデータ） (2023-04-23T21:43:03Z)
• Consistency Analysis of ChatGPT [65.268245109828]
  本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。 その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
  論文  参考訳（メタデータ） (2023-03-11T01:19:01Z)
• Proactive Detractor Detection Framework Based on Message-Wise Sentiment Analysis Over Customer Support Interactions [60.87845704495664]
  本稿では、チャットベースのカスタマーサポートのインタラクションにのみ依存して、個々のユーザの推薦決定を予測するフレームワークを提案する。 ケーススタディでは、ラテンアメリカの大手電子商取引会社の金融分野における16.4kのユーザ数と48.7kの顧客サポートに関する会話を分析した。 以上の結果から,CS会話のメッセージワイドな感情進化のみに基づいて,ユーザが製品やサービスを推薦する可能性を予測することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-08T00:43:36Z)
• Analyzing the Intensity of Complaints on Social Media [55.140613801802886]
  テキストからの苦情の強度を測定する計算言語学における最初の研究について述べる。 私たちは中国のソーシャルメディアプラットフォームであるWeiboからの苦情に関する3,103件の投稿を含む最初の中国のデータセットを作成しました。 平均二乗誤差が0.11となる計算モデルにより,苦情強度を正確に推定できることを示す。
  論文  参考訳（メタデータ） (2022-04-20T10:15:44Z)
• News consumption and social media regulations policy [70.31753171707005]
  我々は、ニュース消費とコンテンツ規制の間の相互作用を評価するために、反対のモデレーション手法であるTwitterとGabを強制した2つのソーシャルメディアを分析した。 以上の結果から,Twitterが追求するモデレーションの存在は,疑わしいコンテンツを著しく減少させることがわかった。 Gabに対する明確な規制の欠如は、ユーザが両方のタイプのコンテンツを扱う傾向を生じさせ、ディスカウント/エンドレスメントの振る舞いを考慮に入れた疑わしいコンテンツに対してわずかに好みを示す。
  論文  参考訳（メタデータ） (2021-06-07T19:26:32Z)
• Graph Neural Networks to Predict Customer Satisfaction Following Interactions with a Corporate Call Center [6.4047628200011815]
  本研究は、着信後の顧客満足度を予測するための完全運用システムについて述べる。 このシステムは、電話の音声からテキストへの書き起こしを入力とし、電話後の調査で顧客から報告された着信満足度を予測する。
  論文  参考訳（メタデータ） (2021-01-31T10:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。