論文の概要: HERALD: An Annotation Efficient Method to Detect User Disengagement in Social Conversations

• arxiv url: http://arxiv.org/abs/2106.00162v2
• Date: Wed, 2 Jun 2021 06:15:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 11:02:00.606224
• Title: HERALD: An Annotation Efficient Method to Detect User Disengagement in Social Conversations
• Title（参考訳）: HERALD:ソーシャル・会話におけるユーザ・ディエンジメントを効果的に検出するアノテーション手法
• Authors: Weixin Liang, Kai-Hui Liang, Zhou Yu
• Abstract要約: ユーザの離脱を検出するための既存の作業は、通常、多くのダイアログサンプルを手作業でラベル付けする必要がある。 本稿では,学習データアノテーションプロセスを再編成する,効率的なアノテーションフレームワークHERALDを提案する。 実験の結果,HERALDはアノテーション効率を大幅に向上し,2つのダイアログコーパスにおいて86%のユーザ解離検出精度を実現することがわかった。
• 参考スコア（独自算出の注目度）: 38.95985439093335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-domain dialog systems have a user-centric goal: to provide humans with an engaging conversation experience. User engagement is one of the most important metrics for evaluating open-domain dialog systems, and could also be used as real-time feedback to benefit dialog policy learning. Existing work on detecting user disengagement typically requires hand-labeling many dialog samples. We propose HERALD, an efficient annotation framework that reframes the training data annotation process as a denoising problem. Specifically, instead of manually labeling training samples, we first use a set of labeling heuristics to label training samples automatically. We then denoise the weakly labeled data using the Shapley algorithm. Finally, we use the denoised data to train a user engagement detector. Our experiments show that HERALD improves annotation efficiency significantly and achieves 86% user disengagement detection accuracy in two dialog corpora.
• Abstract（参考訳）: オープンドメインダイアログシステムには、人間に魅力的な会話体験を提供することという、ユーザ中心の目標がある。 ユーザエンゲージメントはオープンドメインダイアログシステムを評価する上で最も重要な指標の1つであり、ダイアログポリシー学習のためにリアルタイムフィードバックとしても使用できる。 ユーザの離脱を検出する既存の作業は、通常、多くのダイアログのサンプルを手作業でラベル付けする必要がある。 本稿では,学習データアノテーションプロセスを再編成する,効率的なアノテーションフレームワークHERALDを提案する。 具体的には、トレーニングサンプルを手動でラベル付けするのではなく、トレーニングサンプルを自動的にラベル付けするヒューリスティックのセットを使用します。 次に、Shapleyアルゴリズムを用いて弱いラベル付きデータを復調する。 最後に、ユーザエンゲージメント検出器をトレーニングするために、デノライズドデータを使用します。 実験の結果,herbledはアノテーションの効率を大幅に向上し,2つのダイアログコーパスにおいて86%のユーザ離脱検出精度を達成した。

関連論文リスト

• Multi-Action Dialog Policy Learning from Logged User Feedback [28.4271696269512]
  マルチアクションダイアログポリシーは、ターン毎に複数のアトミックダイアログアクションを生成する。 データ制限のため、既存のポリシーモデルは、目に見えないダイアログフローに対してあまり一般化しない。 暗黙的かつ暗黙的なターンレベルのユーザフィードバックでマルチアクションダイアログポリシー学習を改善するためにBanditMatchを提案する。
  論文  参考訳（メタデータ） (2023-02-27T04:01:28Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• What is wrong with you?: Leveraging User Sentiment for Automatic Dialog Evaluation [73.03318027164605]
  本稿では,次のユーザの発話から自動的に抽出できる情報をプロキシとして利用して,前のシステム応答の質を測定することを提案する。 本モデルは,実際のユーザおよび有償ユーザから収集した音声と書面の両方のオープンドメインダイアログコーパスを一般化する。
  論文  参考訳（メタデータ） (2022-03-25T22:09:52Z)
• A new data augmentation method for intent classification enhancement and its application on spoken conversation datasets [23.495743195811375]
  本稿では,Nearest Neighbors Scores Improvement (NNSI)アルゴリズムを提案する。 NNSIは、高度に曖昧なサンプルを自動的に選択し、それらを高精度にラベルすることで、手動ラベリングの必要性を減らす。 2つの大規模実生活音声対話システムにおけるNNSIの使用を実演した。
  論文  参考訳（メタデータ） (2022-02-21T11:36:19Z)
• User Response and Sentiment Prediction for Automatic Dialogue Evaluation [69.11124655437902]
  本稿では,次のユーザ発話の感情をターンレベル評価やダイアログレベル評価に利用することを提案する。 実験により,本モデルによる音声対話データセットと音声対話データセットの両方において,既存の自動評価指標よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-11-16T22:19:17Z)
• Data-Efficient Methods for Dialogue Systems [4.061135251278187]
  会話型ユーザインタフェース(CUI)は、SiriやAlexaといったコンシューマにフォーカスした製品において、日常的に広く普及している。 ディープラーニングは、対話システムにおける最近のブレークスルーの根底にあるが、専門家によって注釈付けされることが多い、非常に大量のトレーニングデータを必要とする。 本稿では,最小限のデータから頑健な対話システムを訓練するための一連の手法を紹介する。
  論文  参考訳（メタデータ） (2020-12-05T02:51:09Z)
• Beyond User Self-Reported Likert Scale Ratings: A Comparison Model for Automatic Dialog Evaluation [69.03658685761538]
  オープンドメインダイアログシステム評価はダイアログ研究における最も重要な課題の1つである。 本稿では,自動評価モデルCMADEを提案する。 実験の結果,対話比較作業においてCMADEの精度は89.2%であった。
  論文  参考訳（メタデータ） (2020-05-21T15:14:49Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)
• Learning Dialog Policies from Weak Demonstrations [32.149932955715705]
  Demonstrations (DQfD) からの深層Q-learningを構築し,ダイアログデータを利用してエージェントを誘導し,ユーザの要求に応答する。 ラベル付きデータ、ラベル付きデータ、さらにはラベルなしデータを使って、必要なデータに関する仮定を徐々に減らします。 挑戦的なマルチドメインダイアログシステムフレームワークの実験は、我々のアプローチを検証し、ドメイン外のデータでトレーニングしても高い成功率を得る。
  論文  参考訳（メタデータ） (2020-04-23T10:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。