論文の概要: Dimensionality in Satisfaction Ratings

• arxiv url: http://arxiv.org/abs/2607.11026v1
• Date: Mon, 13 Jul 2026 02:45:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.307532
• Title: Dimensionality in Satisfaction Ratings
• Title（参考訳）: 満足度評価における次元性
• Abstract要約: 私たちは、グローバルな消費者製品会社で約9000のサポート会話のテキストに注釈をつけるために、大きな言語モデルを使用しました。 私たちは、顧客満足度をコンポーネント軸(全体、エージェント、成果、製品、顧客努力)に分解しました。 5つの軸のうち4つは、自己申告された満足度(全て、エージェント、結果)を、未調整の0.65(労力 -0.54)付近で詳細に追跡する一方、製品満足度は、利用可能なプロキシに対して弱い。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We used a large language model (GPT-4.1) to annotate the text of about 9,000 support conversations at a global consumer-goods firm, decomposing customer-care satisfaction into component axes (overall, agent, outcome, product, and customer effort), and validated the LLM annotations against the satisfaction ratings customers gave themselves. Four of five axes track self-reported satisfaction closely (overall, agent, and outcome near an unadjusted 0.65; effort -0.54), while product satisfaction is weak against the available proxy. The unadjusted correlation also understates the alignment: the disagreements concentrate in a small, readable tail of divergent sessions rather than in general drift, and the overall correlation rises to 0.811 when only the severe divergences are excluded and to 0.914 when the full divergent tail is excluded. The axes are also highly collinear, and adding them to the overall score does not improve prediction of the customer's rating, the decomposition's value is not incremental prediction but attribution and coverage. And, with greater coverage the picture of the data changes. Read on every contact rather than the few that return a survey, satisfaction is markedly lower than the survey reports (a full-census 2.91 against the surveyed 3.62 on a five-point scale). The promise of decomposed satisfaction as a methodology is the ability to identify more nuanced drivers of customer experience in conversational data.
• Abstract（参考訳）: 我々は、グローバルな消費者製品企業における約9000件のサポート会話のテキストを注釈付けするために、大規模言語モデル(GPT-4.1)を使用し、顧客満足度をコンポーネント軸(オーバーオール、エージェント、成果、製品、顧客努力)に分解し、顧客が提供した満足度評価に対するLCMアノテーションを検証した。 5つの軸のうち4つは、自己申告された満足度(全て、エージェント、結果)を、未調整の0.65(労力 -0.54)付近で詳細に追跡する一方、製品満足度は、利用可能なプロキシに対して弱い。 この不一致は、一般的なドリフトではなく、小さくて読みやすい発散セッションの尾に集中しており、全体的な相関は、重度の発散のみを除外した場合には0.811、完全発散尾を除外した場合には0.914まで増加する。 また、軸は高いコリニアであり、全体のスコアに追加しても顧客のレーティングの予測は改善せず、分解の価値は漸進的な予測ではなく、帰属とカバレッジである。 そして、より網羅的に、データの変化のイメージも変わります。 調査を返した少数の人よりも、すべての連絡先を読み取ると、満足度は調査報告よりも著しく低い(5ポイントスケールで調査された3.62に対するフルセンサス2.91)。 方法論としての分解された満足感の約束は、会話データの中で顧客体験のより微妙なドライバーを識別する能力である。

関連論文リスト

• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators [50.129606229339146]
  SurveyReviewは、調査評価のためのレビューアラインで多次元のベンチマークとデータセットである。 我々は、自由形式のコメントを4次元のスコアに変換することによって、ピアレビューレポートを構築する。 我々は,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テスト分割と評価プロトコルをリリースする。
  論文  参考訳（メタデータ） (2026-08-07T16:11:46Z)
• AgentFAIR: A Multi-Agent Collaborative Framework for FAIRness Evaluation of Geospatial Datasets [4.193537335690018]
  本稿では,構造抽出とサブプリンシプル固有評価器を組み合わせたマルチエージェントフレームワークであるAgentFAIRを提案する。 それぞれが0-3の成熟度スコア、エビデンス、レコメンデーションを生成します。 15データセットの専門家による予備的な研究では、フライスのカッパは0.71で、82%が専門家のコンセンサスと一致している。
  論文  参考訳（メタデータ） (2026-07-17T09:32:54Z)
• What sentiment analysis can't see: Measuring whether customers were helped, and what went wrong, across 70,000 support conversations [0.0]
  我々はGPT-5.4を用いて各顧客の満足度を推定し、具体的な問題を報告したかどうかを判断した。 満足度予測は、これらの評価を感情よりもはるかに良く追跡した。 トーンと満足感は会話の44%で一致しない。
  論文  参考訳（メタデータ） (2026-06-18T01:50:53Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Beyond Means: A Dynamic Framework for Predicting Customer Satisfaction [29.75950401212671]
  評価アグリゲーションにガウス過程(GP)フレームワークを用いることの価値を実証する。 Yelpの121,123のレーティングに基づいて、将来のレーティングを予測するために異なるレーティングアグリゲーション手法の予測能力を比較する。 当社の発見は,マーケティング実践者や顧客にとって重要な意味を持つ。
  論文  参考訳（メタデータ） (2025-11-18T18:43:29Z)
• A Confidence-Diversity Framework for Calibrating AI Judgement in Accessible Qualitative Coding Tasks [0.0]
  信頼性の多様性の校正は、アクセス可能なコーディングタスクの品質評価フレームワークである。 8つの最先端のLCMから5,680のコーディング決定を分析すると、自信はモデル間の合意を密接に追跡する。
  論文  参考訳（メタデータ） (2025-08-04T03:47:10Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• Spatio-Temporal Graph Representation Learning for Fraudster Group Detection [50.779498955162644]
  企業は、偽レビューを書くために詐欺師グループを雇い、競合相手をデモしたり、自分のビジネスを宣伝したりすることができる。 そのようなグループを検出するには、詐欺師グループの静的ネットワークを表現するのが一般的なモデルである。 両レビュアーの表現学習におけるHIN-RNNの有効性を第一に活用することを提案する。
  論文  参考訳（メタデータ） (2022-01-07T08:01:38Z)
• Re-TACRED: Addressing Shortcomings of the TACRED Dataset [5.820381428297218]
  TACREDは、最大かつ最も広く使われている文レベルの関係抽出データセットの1つである。 このデータセットを用いて評価された提案モデルは、新しい最先端のパフォーマンスを一貫して設定する。 しかし、彼らはまだ大規模なテキストコーポラで外部の知識と教師なしの事前訓練を利用しながら大きなエラー率を示しています。
  論文  参考訳（メタデータ） (2021-04-16T22:55:11Z)
• SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
  総合的かつ一貫した方法で14の自動評価指標を再評価する。 上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。 我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
  論文  参考訳（メタデータ） (2020-07-24T16:25:19Z)
• Surveys without Questions: A Reinforcement Learning Approach [12.044303977550229]
  我々は、クリックストリームデータからプロキシレーティングを抽出するために、強化学習(RL)に基づくアプローチを開発する。 1つは顧客レベルであり、もう1つは顧客間でのクリックアクションの集計レベルである。
  論文  参考訳（メタデータ） (2020-06-11T10:41:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。