論文の概要: Large-scale Hybrid Approach for Predicting User Satisfaction with Conversational Agents

• arxiv url: http://arxiv.org/abs/2006.07113v1
• Date: Fri, 29 May 2020 16:29:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 22:37:31.494442
• Title: Large-scale Hybrid Approach for Predicting User Satisfaction with Conversational Agents
• Title（参考訳）: 対話エージェントによるユーザ満足度予測のための大規模ハイブリッドアプローチ
• Authors: Dookun Park, Hao Yuan, Dongmin Kim, Yinglei Zhang, Matsoukas Spyros, Young-Bum Kim, Ruhi Sarikaya, Edward Guo, Yuan Ling, Kevin Quinn, Pham Hung, Benjamin Yao, Sungjin Lee
• Abstract要約: ユーザの満足度を測定することは難しい課題であり、大規模な会話エージェントシステムの開発において重要な要素である。 人間のアノテーションに基づくアプローチは簡単に制御できるが、スケールするのは難しい。 新たなアプローチとして,会話エージェントシステムに埋め込まれたフィードバック誘導システムを通じて,ユーザの直接的なフィードバックを収集する手法がある。
• 参考スコア（独自算出の注目度）: 28.668681892786264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measuring user satisfaction level is a challenging task, and a critical component in developing large-scale conversational agent systems serving the needs of real users. An widely used approach to tackle this is to collect human annotation data and use them for evaluation or modeling. Human annotation based approaches are easier to control, but hard to scale. A novel alternative approach is to collect user's direct feedback via a feedback elicitation system embedded to the conversational agent system, and use the collected user feedback to train a machine-learned model for generalization. User feedback is the best proxy for user satisfaction, but is not available for some ineligible intents and certain situations. Thus, these two types of approaches are complementary to each other. In this work, we tackle the user satisfaction assessment problem with a hybrid approach that fuses explicit user feedback, user satisfaction predictions inferred by two machine-learned models, one trained on user feedback data and the other human annotation data. The hybrid approach is based on a waterfall policy, and the experimental results with Amazon Alexa's large-scale datasets show significant improvements in inferring user satisfaction. A detailed hybrid architecture, an in-depth analysis on user feedback data, and an algorithm that generates data sets to properly simulate the live traffic are presented in this paper.
• Abstract（参考訳）: ユーザ満足度の測定は困難な作業であり、実際のユーザのニーズに応える大規模な対話型エージェントシステムの開発において重要な要素である。 これに取り組むために広く使われているアプローチは、人間のアノテーションデータを収集し、それらを評価やモデリングに使用することである。 人間のアノテーションに基づくアプローチは簡単に制御できるが、スケールするのは難しい。 新しいアプローチは、会話エージェントシステムに埋め込まれたフィードバック誘発システムを介してユーザの直接フィードバックを収集し、収集されたユーザフィードバックを使用して、機械学習モデルの一般化を訓練する。 ユーザフィードバックは、ユーザ満足のための最良のプロキシですが、いくつかの不適切な意図や特定の状況では利用できません。 したがって、これらの2つのアプローチは相補的である。 本研究では,明示的なユーザフィードバックと2つの機械学習モデルから推定されるユーザ満足度予測と,ユーザフィードバックデータと他の人間のアノテーションデータとを融合したハイブリッドアプローチを用いて,ユーザ満足度評価問題に取り組む。 ハイブリッドアプローチはウォーターフォールポリシに基づいており、amazon alexaの大規模データセットによる実験結果は、ユーザの満足度を推測する上で大きな改善を示している。 本稿では,詳細なハイブリッドアーキテクチャ,ユーザフィードバックデータに関する詳細な分析,およびライブトラフィックを適切にシミュレートするデータセットを生成するアルゴリズムについて述べる。

関連論文リスト

• Retrieval Augmentation via User Interest Clustering [57.63883506013693]
  インダストリアルレコメンデータシステムは、ユーザ・イテム・エンゲージメントのパターンに敏感である。 本稿では,ユーザの関心を効率的に構築し,計算コストの低減を図る新しい手法を提案する。 当社のアプローチはMetaの複数の製品に展開されており、ショートフォームビデオ関連の推奨を助長しています。
  論文  参考訳（メタデータ） (2024-08-07T16:35:10Z)
• CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
  我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。 生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。 この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
  論文  参考訳（メタデータ） (2024-03-27T23:45:31Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
  逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。 しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。 したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
  論文  参考訳（メタデータ） (2022-11-17T19:00:24Z)
• Incorporating Relevance Feedback for Information-Seeking Retrieval using Few-Shot Document Re-Ranking [56.80065604034095]
  我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。 異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
  論文  参考訳（メタデータ） (2022-10-19T16:19:37Z)
• Ordinal Graph Gamma Belief Network for Social Recommender Systems [54.9487910312535]
  我々は,階層型ベイズモデルであるオーディナルグラフファクター解析(OGFA)を開発し,ユーザ・イテムとユーザ・ユーザインタラクションを共同でモデル化する。 OGFAは、優れたレコメンデーションパフォーマンスを達成するだけでなく、代表ユーザの好みに応じた解釈可能な潜在因子も抽出する。 我々はOGFAを,マルチ確率層深層確率モデルであるオーディナルグラフガンマ信念ネットワークに拡張する。
  論文  参考訳（メタデータ） (2022-09-12T09:19:22Z)
• Adaptive Summaries: A Personalized Concept-based Summarization Approach by Learning from Users' Feedback [0.0]
  本稿では,アダプティブ・サマリー(Adaptive Summaries)と呼ばれるインタラクティブな概念に基づく要約モデルを提案する。 本システムは,反復ループでフィードバックを与えることで,システムと対話しながら,ユーザの提供した情報から徐々に学習する。 生成したサマリーでユーザ好みのコンテンツを最大化することで、ユーザの好みに基づいた高品質なサマリー作成を支援する。
  論文  参考訳（メタデータ） (2020-12-24T18:27:50Z)
• Self-Supervised Contrastive Learning for Efficient User Satisfaction Prediction in Conversational Agents [35.2098736872247]
  ユーザとエージェントのインタラクションを学習するための,自己指導型コントラスト学習手法を提案する。 自己教師対象を用いた事前学習モデルは,ユーザ満足度予測に転送可能であることを示す。 また、非常に小さなサンプルサイズに対して、より優れた転送性を確保するために、新しい数発の転送学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T18:10:58Z)
• Presentation of a Recommender System with Ensemble Learning and Graph Embedding: A Case on MovieLens [3.8848561367220276]
  グループ分類とアンサンブル学習技術は,推薦システムにおける予測精度を高めるために用いられた。 The study was performed on the MovieLens datasets, and the obtained results showed the high efficiency of the present method。
  論文  参考訳（メタデータ） (2020-07-15T12:52:15Z)
• Recommendation system using a deep learning and graph analysis approach [1.2183405753834562]
  本稿では,行列係数化とグラフ解析に基づく新しい推薦手法を提案する。 さらに,ディープオートエンコーダを利用してユーザやアイテムの潜伏要因を初期化し,ディープ埋め込み手法によってユーザの潜伏要因をユーザ信頼グラフから収集する。
  論文  参考訳（メタデータ） (2020-04-17T08:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。