論文の概要: Actionable Conversational Quality Indicators for Improving Task-Oriented Dialog Systems

• arxiv url: http://arxiv.org/abs/2109.11064v1
• Date: Wed, 22 Sep 2021 22:41:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-25 01:39:19.288502
• Title: Actionable Conversational Quality Indicators for Improving Task-Oriented Dialog Systems
• Title（参考訳）: タスク指向対話システム改善のための対話型品質指標
• Authors: Michael Higgins, Dominic Widdows, Chris Brew, Gwen Christian, Andrew Maurer, Matthew Dunn, Sujit Mathi, Akshay Hazare, George Bonev, Beth Ann Hockey, Kristen Howell, Joe Bradley
• Abstract要約: 本稿では、ACQI(Actionable Conversational Quality Indicator)の使用について紹介し、解説する。 ACQIは、改善可能なダイアログの一部を認識し、改善する方法を推奨するために使用される。 本稿では、商用顧客サービスアプリケーションで使用されるLivePersonの内部ダイアログシステムにおけるACQIの使用の有効性を示す。
• 参考スコア（独自算出の注目度）: 2.6094079735487994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic dialog systems have become a mainstream part of online customer service. Many such systems are built, maintained, and improved by customer service specialists, rather than dialog systems engineers and computer programmers. As conversations between people and machines become commonplace, it is critical to understand what is working, what is not, and what actions can be taken to reduce the frequency of inappropriate system responses. These analyses and recommendations need to be presented in terms that directly reflect the user experience rather than the internal dialog processing. This paper introduces and explains the use of Actionable Conversational Quality Indicators (ACQIs), which are used both to recognize parts of dialogs that can be improved, and to recommend how to improve them. This combines benefits of previous approaches, some of which have focused on producing dialog quality scoring while others have sought to categorize the types of errors the dialog system is making. We demonstrate the effectiveness of using ACQIs on LivePerson internal dialog systems used in commercial customer service applications, and on the publicly available CMU LEGOv2 conversational dataset (Raux et al. 2005). We report on the annotation and analysis of conversational datasets showing which ACQIs are important to fix in various situations. The annotated datasets are then used to build a predictive model which uses a turn-based vector embedding of the message texts and achieves an 79% weighted average f1-measure at the task of finding the correct ACQI for a given conversation. We predict that if such a model worked perfectly, the range of potential improvement actions a bot-builder must consider at each turn could be reduced by an average of 81%.
• Abstract（参考訳）: 自動対話システムはオンライン顧客サービスの主流となっている。 このようなシステムの多くは、ダイアログシステムエンジニアやコンピュータプログラマではなく、カスタマーサービススペシャリストによって構築、維持、改善されている。 人と機械間の会話が一般的になるにつれて、何が機能しているか、何が機能しないのか、不適切なシステム応答の頻度を減らすためにどのような行動をとるのかを理解することが重要となる。 これらの分析とレコメンデーションは、内部ダイアログ処理ではなく、ユーザエクスペリエンスを直接反映する用語で提示する必要がある。 本稿では,改善可能なダイアログの一部を認識し,その改善方法を推薦するために使用される対話型品質指標(acqis)について紹介し,解説する。 これは、ダイアログの品質スコアリングにフォーカスした以前のアプローチの利点と、ダイアログシステムが行っているエラーのタイプを分類しようとする方法を組み合わせたものだ。 本稿では、商用顧客サービスアプリケーションで使用されるLivePersonの内部ダイアログシステムと、一般公開されているCMU LEGOv2会話データセット(Raux et al. 2005)におけるACQIの使用の有効性を示す。 各種状況においてどのacqiが重要かを示す対話型データセットのアノテーションと分析について報告する。 注釈付きデータセットは、メッセージテキストのターンベースのベクター埋め込みを使用して、与えられた会話の正しいacqiを見つけるタスクで79%の重み付け平均f1-measureを達成する予測モデルを構築するために使用される。 このようなモデルが完璧に機能すれば、ボットビルダーが各ターンで考慮しなければならない潜在的な改善行動の範囲は平均81%削減できると予測する。

関連論文リスト

• Multi-User MultiWOZ: Task-Oriented Dialogues among Multiple Users [51.34484827552774]
  マルチユーザMulti-User MultiWOZデータセットを2つのユーザと1つのエージェント間のタスク指向対話としてリリースする。 これらの対話は、タスク指向のシナリオにおける協調的な意思決定の興味深いダイナミクスを反映している。 本稿では,複数ユーザ間のタスク指向のチャットを簡潔なタスク指向のクエリとして書き換える,マルチユーザコンテキストクエリ書き換えの新しいタスクを提案する。
  論文  参考訳（メタデータ） (2023-10-31T14:12:07Z)
• Toward More Accurate and Generalizable Evaluation Metrics for Task-Oriented Dialogs [19.43845920149182]
  ダイアログ品質と呼ばれる新しいダイアログレベルのアノテーションワークフローを導入する。 DQAの専門家アノテータは、ダイアログ全体の品質を評価し、ゴール完了やユーザ感情などの属性に対するラベルダイアログも評価する。 我々は,大規模音声アシスタントプラットフォームにおける対話品質を評価する上で,高品質なヒューマンアノテートデータを持つことが重要であると論じている。
  論文  参考訳（メタデータ） (2023-06-06T19:43:29Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
  対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。 エージェントは対話とマニュアルの両方からタスクを学習する。 提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
  論文  参考訳（メタデータ） (2022-08-16T08:21:12Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Alexa Conversations: An Extensible Data-driven Approach for Building Task-oriented Dialogue Systems [21.98135285833616]
  従来の目標指向対話システムは、自然言語理解、対話状態追跡、政策学習、応答生成など、さまざまなコンポーネントに依存している。 スケーラブルかつデータ効率の高い,目標指向の対話システム構築のための新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-04-19T07:09:27Z)
• Turn-level Dialog Evaluation with Dialog-level Weak Signals for Bot-Human Hybrid Customer Service Systems [0.0]
  インタラクションの間いつでも、顧客サービスコンタクトにおける成功や価値の複数の側面を定量化する機械学習アプローチを開発しました。 いくつかのアプリケーションにおいて、Amazonのカスタマーサービス品質がどのように改善されているかを示します。
  論文  参考訳（メタデータ） (2020-10-25T19:36:23Z)
• Contextual Dialogue Act Classification for Open-Domain Conversational Agents [10.576497782941697]
  会話におけるユーザ発話の一般的な意図を分類することは、会話エージェントのための自然言語理解(NLU)の重要なステップである。 本稿では,文脈対話行為分類のための簡易かつ効果的な深層学習手法であるCDAC(Contextual Dialogue Act)を提案する。 我々は、人-機械対話における対話行動を予測するために、トランスファーラーニングを用いて人間-機械対話で訓練されたモデルを適用する。
  論文  参考訳（メタデータ） (2020-05-28T06:48:10Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)
• Conversation Learner -- A Machine Teaching Tool for Building Dialog Managers for Task-Oriented Dialog Systems [57.082447660944965]
  Conversation Learnerは、ダイアログマネージャを構築するための機械学習ツールである。 ダイアログ作成者が慣れ親しんだツールを使ってダイアログフローを作成し、ダイアログフローをパラメトリックモデルに変換することができる。 ユーザシステムダイアログをトレーニングデータとして活用することで、ダイアログ作成者が時間とともにダイアログマネージャを改善することができる。
  論文  参考訳（メタデータ） (2020-04-09T00:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。