論文の概要: A Data-driven Approach to Estimate User Satisfaction in Multi-turn Dialogues

• arxiv url: http://arxiv.org/abs/2103.01287v1
• Date: Mon, 1 Mar 2021 20:00:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:48:26.609639
• Title: A Data-driven Approach to Estimate User Satisfaction in Multi-turn Dialogues
• Title（参考訳）: マルチターン対話におけるユーザの満足度推定のためのデータ駆動アプローチ
• Authors: Ziming Li and Dookun Park and Julia Kiseleva and Young-Bum Kim and Sungjin Lee
• Abstract要約: マルチターン対話の評価は依然として困難です。 同じ経験を複雑さのレベルが異なる2つのタスクに割り当てるのは誤解を招く。 文脈に敏感で長期的な視点を持つ対話のターンレベルの満足度を推定する新しい手法を開発しています。
• 参考スコア（独自算出の注目度）: 22.298425763949634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evaluation of multi-turn dialogues remains challenging. The common approach of labeling the user satisfaction with the experience on the dialogue level does not reflect the task's difficulty. Therefore assigning the same experience score to two tasks with different complexity levels is misleading. Another approach, which suggests evaluating each dialogue turn independently, ignores each turn's long-term influence over the final user experience with dialogue. We instead develop a new method to estimate the turn-level satisfaction for dialogue, which is context-sensitive and has a long-term view. Our approach is data-driven which makes it easily personalized. The interactions between users and dialogue systems are formulated using a budget consumption setup. We assume the user has an initial interaction budget for a conversation based on the task complexity, and each dialogue turn has a cost. When the task is completed or the budget has been run out, the user will quit the interaction. We demonstrate the effectiveness of our method by extensive experimentation with a simulated dialogue platform and a realistic dialogue dataset.
• Abstract（参考訳）: マルチターン対話の評価は依然として困難です。 ユーザ満足度と対話レベルの経験をラベル付けする一般的なアプローチは、タスクの難しさを反映していない。 したがって、異なる複雑さレベルの2つのタスクに同じ経験スコアを割り当てることは誤解を招く。 各対話を独立して評価することを提案する別のアプローチは、対話による最終的なユーザー体験に対する各ターンの長期的な影響を無視します。 そこで我々は,対話に対するターンレベルの満足度を,文脈に敏感かつ長期的視点で推定する手法を開発した。 私たちのアプローチはデータ駆動で、簡単にパーソナライズできます。 ユーザと対話システム間の相互作用を予算消費設定を用いて定式化する。 ユーザーはタスクの複雑さに基づいて会話の最初の対話予算を持っていると仮定し、各対話ターンにはコストがかかります。 タスクが完了するか、予算が切れた場合には、ユーザはインタラクションをやめます。 シミュレーション対話プラットフォームと現実的な対話データセットを用いた広範囲な実験により,本手法の有効性を実証する。

関連論文リスト

• OmniDialog: An Omnipotent Pre-training Model for Task-Oriented Dialogue System [43.92593448255296]
  我々はOmnipotent Dialogue pre-training model(OmniDialog)を提案する。 3つの対話タスクをマルチタスク学習によってモノリシックなフレームワークに統合し、タスク間通信を促進する。 対話の要約、エンドツーエンドの対話モデリング、対話状態追跡、意図分類の4つのタスクでその性能を評価する。
  論文  参考訳（メタデータ） (2023-12-28T07:20:49Z)
• Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users [51.34484827552774]
  マルチユーザMulti-User MultiWOZデータセットを2つのユーザと1つのエージェント間のタスク指向対話としてリリースする。 これらの対話は、タスク指向のシナリオにおける協調的な意思決定の興味深いダイナミクスを反映している。 本稿では,複数ユーザ間のタスク指向のチャットを簡潔なタスク指向のクエリとして書き換える,マルチユーザコンテキストクエリ書き換えの新しいタスクを提案する。
  論文  参考訳（メタデータ） (2023-10-31T14:12:07Z)
• PK-ICR: Persona-Knowledge Interactive Context Retrieval for Grounded Dialogue [21.266410719325208]
  ペルソナとナレッジ デュアルコンテキスト識別(ペルソナとナレッジ コンテクストの同定)は、与えられた対話において、ペルソナとナレッジを共同で識別するタスクである。 我々は,対話のすべての文脈を同時に活用する新しい接地検索手法を開発した。
  論文  参考訳（メタデータ） (2023-02-13T20:27:26Z)
• HybriDialogue: An Information-Seeking Dialogue Dataset Grounded on Tabular and Textual Data [87.67278915655712]
  我々は、ウィキペディアのテキストとテーブルの両方を基盤とした、クラウドソーシングされた自然な会話からなる新しい対話データセットHybriDialogueを提示する。 これらの会話は、複雑なマルチホップ質問をシンプルで現実的なマルチターン対話に分解することで生成される。
  論文  参考訳（メタデータ） (2022-04-28T00:52:16Z)
• Less is More: Learning to Refine Dialogue History for Personalized Dialogue Generation [57.73547958927826]
  我々は,対話履歴をより多く処理し,より正確なペルソナ情報を得ることのできる,ユーザ対話履歴を大規模に洗練することを提案する。 具体的には、3つの個人情報精算器とパーソナライズされた応答生成器で構成されるMSPモデルを設計する。
  論文  参考訳（メタデータ） (2022-04-18T02:02:56Z)
• User Satisfaction Estimation with Sequential Dialogue Act Modeling in Goal-oriented Conversational Systems [65.88679683468143]
  我々は,ユーザ満足度を予測するために,対話行動の逐次的ダイナミクスを取り入れた新しいフレームワーク,すなわちUSDAを提案する。 USDAは、ユーザの満足度を予測するために、コンテンツと行動機能の連続的な遷移を対話に取り入れている。 4つのベンチマーク目標指向対話データセットによる実験結果から,提案手法はUSEの既存手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-02-07T02:50:07Z)
• Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots [62.295373408415365]
  本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。 1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。 ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
  論文  参考訳（メタデータ） (2021-03-17T09:42:11Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。