論文の概要: A Transformer-Based User Satisfaction Prediction for Proactive
Interaction Mechanism in DuerOS
- arxiv url: http://arxiv.org/abs/2212.03817v1
- Date: Mon, 5 Dec 2022 09:17:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 14:56:42.821040
- Title: A Transformer-Based User Satisfaction Prediction for Proactive
Interaction Mechanism in DuerOS
- Title（参考訳）: デュエロスにおけるプロアクティブインタラクション機構に対するトランスフォーマティブユーザ満足度予測
- Authors: Wei Shen, Xiaonan He, Chuheng Zhang, Xuyun Zhang, Jian XIe
- Abstract要約: そこで本研究では,ユーザに対して提示する前に,ユーザの満足度とユーザの反応を予測できる能動的インタラクション機構を提案する。
ユーザが予測に応じて満足できない場合、システムはユーザの本当の意図を決定するのに適した質問をユーザに尋ねる。
当社のモデルをDuerOS上に展開・評価し,ユーザ満足度予測の精度に対する19%の相対的改善と,ユーザエクスペリエンスに対する2.3%の相対的改善を観察した。
- 参考スコア（独自算出の注目度）: 12.060990859604681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, spoken dialogue systems have been widely deployed in a variety of
applications, serving a huge number of end-users. A common issue is that the
errors resulting from noisy utterances, semantic misunderstandings, or lack of
knowledge make it hard for a real system to respond properly, possibly leading
to an unsatisfactory user experience. To avoid such a case, we consider a
proactive interaction mechanism where the system predicts the user satisfaction
with the candidate response before giving it to the user. If the user is not
likely to be satisfied according to the prediction, the system will ask the
user a suitable question to determine the real intent of the user instead of
providing the response directly. With such an interaction with the user, the
system can give a better response to the user. Previous models that predict the
user satisfaction are not applicable to DuerOS which is a large-scale
commercial dialogue system. They are based on hand-crafted features and thus
can hardly learn the complex patterns lying behind millions of conversations
and temporal dependency in multiple turns of the conversation. Moreover, they
are trained and evaluated on the benchmark datasets with adequate labels, which
are expensive to obtain in a commercial dialogue system. To face these
challenges, we propose a pipeline to predict the user satisfaction to help
DuerOS decide whether to ask for clarification in each turn. Specifically, we
propose to first generate a large number of weak labels and then train a
transformer-based model to predict the user satisfaction with these weak
labels. Empirically, we deploy and evaluate our model on DuerOS, and observe a
19% relative improvement on the accuracy of user satisfaction prediction and
2.3% relative improvement on user experience.
- Abstract（参考訳）: 近年,音声対話システムは様々なアプリケーションに広く利用されており,多くのエンドユーザに役立っている。
一般的な問題は、騒々しい発声、意味的な誤解、知識の欠如によるエラーによって、実際のシステムが適切に応答することが難しくなり、おそらく満足できないユーザエクスペリエンスにつながることである。
このようなケースを避けるために,ユーザに対して提示する前に,システムがユーザの満足度を候補応答で予測する能動的インタラクション機構を検討する。
ユーザが予測に従って満足できない場合、システムは、応答を直接提供するのではなく、ユーザの本当の意図を決定するのに適した質問をユーザに尋ねる。
このようなユーザとのインタラクションによって、システムはユーザによりよい応答を与えることができる。
ユーザ満足度を予測する従来のモデルは,大規模な商用対話システムであるDuerOSには適用できない。
これらは手作りの機能に基づいており、数百万の会話の背後にある複雑なパターンや、会話の複数回にわたる時間的依存をほとんど学べない。
さらに,市販の対話システムでは高コストである適切なラベルでベンチマークデータセットをトレーニングし,評価する。
これらの課題に対処するために,DuerOSが各ターンで明確化を求めるかどうかを判断する上で,ユーザ満足度を予測するパイプラインを提案する。
具体的には、まず多数の弱いラベルを生成し、次にトランスフォーマーベースモデルでこれらの弱いラベルでユーザ満足度を予測することを提案する。
実験では,dueros上でモデルのデプロイと評価を行い,ユーザ満足度予測の精度が19%,ユーザエクスペリエンスが2.3%向上したことを確認した。
関連論文リスト
- Towards Empathetic Conversational Recommender Systems [77.53167131692]
本稿では,共感型会話レコメンデータ(ECR)フレームワークを提案する。
ECRには、感情対応アイテムレコメンデーションと感情対応応答生成という、2つの主要なモジュールが含まれている。
ReDialデータセットの実験は、推奨精度を高め、ユーザの満足度を向上させる上で、我々のフレームワークの有効性を検証する。
論文 参考訳（メタデータ） (2024-08-30T15:43:07Z) - System-2 Recommenders: Disentangling Utility and Engagement in Recommendation Systems via Temporal Point-Processes [80.97898201876592]
本稿では,過去のコンテンツインタラクションが,自己興奮型ホークスプロセスに基づくユーザの到着率に影響を及ぼす生成モデルを提案する。
そこで本研究では,システム1とシステム2のアンタングルを解消し,ユーザ利用によるコンテンツ最適化を可能にすることを解析的に示す。
論文 参考訳（メタデータ） (2024-05-29T18:19:37Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。
生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。
この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
論文 参考訳（メタデータ） (2024-03-27T23:45:31Z) - Revealing User Familiarity Bias in Task-Oriented Dialogue via Interactive Evaluation [17.41434948048325]
我々は,現実的なシナリオに対して,TODシステムがいかに脆弱であるかを明らかにするために,インタラクティブなユーザスタディを実施している。
我々の研究は、オープンゴール設定での会話がシステムの破滅的な失敗につながることを明らかにした。
我々は,システムの能力を超えても,システムがユーザの要求を処理するふりをする,新たな“予測”行動を発見した。
論文 参考訳（メタデータ） (2023-05-23T09:24:53Z) - Latent User Intent Modeling for Sequential Recommenders [92.66888409973495]
逐次リコメンデータモデルは、プラットフォーム上での氏のインタラクション履歴に基づいて、ユーザが次に対話する可能性のあるアイテムを予測することを学習する。
しかし、ほとんどのシーケンシャルなレコメンデータは、ユーザの意図に対する高いレベルの理解を欠いている。
したがって、インテントモデリングはユーザー理解と長期ユーザーエクスペリエンスの最適化に不可欠である。
論文 参考訳（メタデータ） (2022-11-17T19:00:24Z) - Multi-stage Clarification in Conversational AI: The case of
Question-Answering Dialogue Systems [0.27998963147546135]
対話型質問応答や会話型検索など,様々な情報検索タスクにおいて,明確化の解決が重要な役割を担っている。
そこで本稿では,質問応答対話システムのコンテキストにおいて,質問の明確化とクエリ選択を促すための多段階的明確化機構を提案する。
提案手法は,ユーザエクスペリエンス全体の改善と,競合するベースラインを2つのデータセットで比較する。
論文 参考訳（メタデータ） (2021-10-28T15:45:44Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳（メタデータ） (2020-11-01T19:50:34Z) - User Intention Recognition and Requirement Elicitation Method for
Conversational AI Services [7.941589241861105]
私たちは、できるだけ少数のラウンドで、ユーザー要求を正確に取得することを目指しています。
ファジィ要件推論のための知識グラフ(KG)に基づくユーザ意図認識手法を開発した。
ダイアログポリシ生成のために,グラニュラーコンピューティングに基づく要件抽出手法を提案した。
論文 参考訳（メタデータ） (2020-09-03T08:26:39Z) - Predict-then-Decide: A Predictive Approach for Wait or Answer Task in
Dialogue Systems [24.560203199376478]
本稿では,このウェイト・オア・アンサー問題に対処するための予測手法であるPredict-then-Decide (PTD)を提案する。
2つの実生活シナリオと3つの公開データセットで実験を行う。
論文 参考訳（メタデータ） (2020-05-27T01:48:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。