論文の概要: A Transformer-Based User Satisfaction Prediction for Proactive
Interaction Mechanism in DuerOS
- arxiv url: http://arxiv.org/abs/2212.03817v1
- Date: Mon, 5 Dec 2022 09:17:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 14:56:42.821040
- Title: A Transformer-Based User Satisfaction Prediction for Proactive
Interaction Mechanism in DuerOS
- Title(参考訳): デュエロスにおけるプロアクティブインタラクション機構に対するトランスフォーマティブユーザ満足度予測
- Authors: Wei Shen, Xiaonan He, Chuheng Zhang, Xuyun Zhang, Jian XIe
- Abstract要約: そこで本研究では,ユーザに対して提示する前に,ユーザの満足度とユーザの反応を予測できる能動的インタラクション機構を提案する。
ユーザが予測に応じて満足できない場合、システムはユーザの本当の意図を決定するのに適した質問をユーザに尋ねる。
当社のモデルをDuerOS上に展開・評価し,ユーザ満足度予測の精度に対する19%の相対的改善と,ユーザエクスペリエンスに対する2.3%の相対的改善を観察した。
- 参考スコア(独自算出の注目度): 12.060990859604681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, spoken dialogue systems have been widely deployed in a variety of
applications, serving a huge number of end-users. A common issue is that the
errors resulting from noisy utterances, semantic misunderstandings, or lack of
knowledge make it hard for a real system to respond properly, possibly leading
to an unsatisfactory user experience. To avoid such a case, we consider a
proactive interaction mechanism where the system predicts the user satisfaction
with the candidate response before giving it to the user. If the user is not
likely to be satisfied according to the prediction, the system will ask the
user a suitable question to determine the real intent of the user instead of
providing the response directly. With such an interaction with the user, the
system can give a better response to the user. Previous models that predict the
user satisfaction are not applicable to DuerOS which is a large-scale
commercial dialogue system. They are based on hand-crafted features and thus
can hardly learn the complex patterns lying behind millions of conversations
and temporal dependency in multiple turns of the conversation. Moreover, they
are trained and evaluated on the benchmark datasets with adequate labels, which
are expensive to obtain in a commercial dialogue system. To face these
challenges, we propose a pipeline to predict the user satisfaction to help
DuerOS decide whether to ask for clarification in each turn. Specifically, we
propose to first generate a large number of weak labels and then train a
transformer-based model to predict the user satisfaction with these weak
labels. Empirically, we deploy and evaluate our model on DuerOS, and observe a
19% relative improvement on the accuracy of user satisfaction prediction and
2.3% relative improvement on user experience.
- Abstract(参考訳): 近年,音声対話システムは様々なアプリケーションに広く利用されており,多くのエンドユーザに役立っている。
一般的な問題は、騒々しい発声、意味的な誤解、知識の欠如によるエラーによって、実際のシステムが適切に応答することが難しくなり、おそらく満足できないユーザエクスペリエンスにつながることである。
このようなケースを避けるために,ユーザに対して提示する前に,システムがユーザの満足度を候補応答で予測する能動的インタラクション機構を検討する。
ユーザが予測に従って満足できない場合、システムは、応答を直接提供するのではなく、ユーザの本当の意図を決定するのに適した質問をユーザに尋ねる。
このようなユーザとのインタラクションによって、システムはユーザによりよい応答を与えることができる。
ユーザ満足度を予測する従来のモデルは,大規模な商用対話システムであるDuerOSには適用できない。
これらは手作りの機能に基づいており、数百万の会話の背後にある複雑なパターンや、会話の複数回にわたる時間的依存をほとんど学べない。
さらに,市販の対話システムでは高コストである適切なラベルでベンチマークデータセットをトレーニングし,評価する。
これらの課題に対処するために,DuerOSが各ターンで明確化を求めるかどうかを判断する上で,ユーザ満足度を予測するパイプラインを提案する。
具体的には、まず多数の弱いラベルを生成し、次にトランスフォーマーベースモデルでこれらの弱いラベルでユーザ満足度を予測することを提案する。
実験では,dueros上でモデルのデプロイと評価を行い,ユーザ満足度予測の精度が19%,ユーザエクスペリエンスが2.3%向上したことを確認した。
関連論文リスト
- Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users [51.34484827552774]
マルチユーザMulti-User MultiWOZデータセットを2つのユーザと1つのエージェント間のタスク指向対話としてリリースする。
これらの対話は、タスク指向のシナリオにおける協調的な意思決定の興味深いダイナミクスを反映している。
本稿では,複数ユーザ間のタスク指向のチャットを簡潔なタスク指向のクエリとして書き換える,マルチユーザコンテキストクエリ書き換えの新しいタスクを提案する。
論文 参考訳(メタデータ) (2023-10-31T14:12:07Z) - Revealing User Familiarity Bias in Task-Oriented Dialogue via
Interactive Evaluation [8.96916785542554]
我々は,現実的なシナリオに対して,TODシステムがいかに脆弱であるかを明らかにするために,インタラクティブなユーザスタディを実施している。
我々の研究は、オープンゴール設定での会話がシステムの破滅的な失敗につながることを明らかにした。
我々は,システムの能力を超えても,システムがユーザの要求を処理するふりをする,新たな“予測”行動を発見した。
論文 参考訳(メタデータ) (2023-05-23T09:24:53Z) - Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。
しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。
したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
論文 参考訳(メタデータ) (2022-11-17T19:00:24Z) - Towards Large-Scale Interpretable Knowledge Graph Reasoning for Dialogue
Systems [109.16553492049441]
よりスケーラブルで一般化可能な対話システムに知識推論機能を組み込む新しい手法を提案する。
我々の知識を最大限に活用するために、変圧器モデルが微分可能な知識グラフを解析して応答を生成するのは、これが初めてである。
論文 参考訳(メタデータ) (2022-03-20T17:51:49Z) - Multi-stage Clarification in Conversational AI: The case of
Question-Answering Dialogue Systems [0.27998963147546135]
対話型質問応答や会話型検索など,様々な情報検索タスクにおいて,明確化の解決が重要な役割を担っている。
そこで本稿では,質問応答対話システムのコンテキストにおいて,質問の明確化とクエリ選択を促すための多段階的明確化機構を提案する。
提案手法は,ユーザエクスペリエンス全体の改善と,競合するベースラインを2つのデータセットで比較する。
論文 参考訳(メタデータ) (2021-10-28T15:45:44Z) - Advances and Challenges in Conversational Recommender Systems: A Survey [133.93908165922804]
現在の会話レコメンダーシステム(CRS)で使用されるテクニックの体系的なレビューを提供します。
CRS開発の主な課題を5つの方向にまとめます。
これらの研究の方向性は、情報検索(IR)、自然言語処理(NLP)、人間とコンピュータの相互作用(HCI)などの複数の研究分野を含みます。
論文 参考訳(メタデータ) (2021-01-23T08:53:15Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳(メタデータ) (2020-11-01T19:50:34Z) - User Intention Recognition and Requirement Elicitation Method for
Conversational AI Services [7.941589241861105]
私たちは、できるだけ少数のラウンドで、ユーザー要求を正確に取得することを目指しています。
ファジィ要件推論のための知識グラフ(KG)に基づくユーザ意図認識手法を開発した。
ダイアログポリシ生成のために,グラニュラーコンピューティングに基づく要件抽出手法を提案した。
論文 参考訳(メタデータ) (2020-09-03T08:26:39Z) - Large-scale Hybrid Approach for Predicting User Satisfaction with
Conversational Agents [28.668681892786264]
ユーザの満足度を測定することは難しい課題であり、大規模な会話エージェントシステムの開発において重要な要素である。
人間のアノテーションに基づくアプローチは簡単に制御できるが、スケールするのは難しい。
新たなアプローチとして,会話エージェントシステムに埋め込まれたフィードバック誘導システムを通じて,ユーザの直接的なフィードバックを収集する手法がある。
論文 参考訳(メタデータ) (2020-05-29T16:29:09Z) - Predict-then-Decide: A Predictive Approach for Wait or Answer Task in
Dialogue Systems [24.560203199376478]
本稿では,このウェイト・オア・アンサー問題に対処するための予測手法であるPredict-then-Decide (PTD)を提案する。
2つの実生活シナリオと3つの公開データセットで実験を行う。
論文 参考訳(メタデータ) (2020-05-27T01:48:54Z) - A Neural Topical Expansion Framework for Unstructured Persona-oriented
Dialogue Generation [52.743311026230714]
Persona Exploration and Exploitation (PEE)は、事前に定義されたユーザペルソナ記述を意味論的に相関したコンテンツで拡張することができる。
PEEはペルソナ探索とペルソナ搾取という2つの主要なモジュールで構成されている。
提案手法は, 自動評価と人的評価の両面で, 最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2020-02-06T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。