論文の概要: What Went Wrong? Explaining Overall Dialogue Quality through Utterance-Level Impacts

• arxiv url: http://arxiv.org/abs/2111.00572v1
• Date: Sun, 31 Oct 2021 19:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 13:22:10.908426
• Title: What Went Wrong? Explaining Overall Dialogue Quality through Utterance-Level Impacts
• Title（参考訳）: どうしたの? 発話レベルによる全体的な対話品質の説明
• Authors: James D. Finch, Sarah E. Finch, Jinho D. Choi
• Abstract要約: 本稿では,ユーザ・システム間相互作用と対話品質の関係を学習する会話ログの自動解析手法を提案する。 提案手法は,発話レベルのアノテーションを使わずに,ユーザ評価全体からインタラクションの影響を学習する。 実験により,我々のモデルからの自動解析が専門家の判断と一致していることが示され,このような発話レベルの品質予測の弱い教師付き学習が達成可能であることを示す最初の方法となった。
• 参考スコア（独自算出の注目度）: 15.018259942339448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving user experience of a dialogue system often requires intensive developer effort to read conversation logs, run statistical analyses, and intuit the relative importance of system shortcomings. This paper presents a novel approach to automated analysis of conversation logs that learns the relationship between user-system interactions and overall dialogue quality. Unlike prior work on utterance-level quality prediction, our approach learns the impact of each interaction from the overall user rating without utterance-level annotation, allowing resultant model conclusions to be derived on the basis of empirical evidence and at low cost. Our model identifies interactions that have a strong correlation with the overall dialogue quality in a chatbot setting. Experiments show that the automated analysis from our model agrees with expert judgments, making this work the first to show that such weakly-supervised learning of utterance-level quality prediction is highly achievable.
• Abstract（参考訳）: 対話システムのユーザエクスペリエンスの向上には、会話ログの読み込み、統計分析の実行、システム欠陥の相対的重要性の監視など、開発者の集中的な作業が必要になることが多い。 本稿では,ユーザ・システム間相互作用と対話品質の関係を学習する会話ログの自動解析手法を提案する。 発話レベルの品質予測に関する先行研究とは異なり,提案手法は発話レベルのアノテーションを使わずに,ユーザ評価全体から各インタラクションの影響を学習し,経験的証拠と低コストで結果モデルの結論を導出する。 本モデルは,チャットボット設定における対話品質と強い相関関係を持つインタラクションを同定する。 実験の結果, モデルによる自動分析は, 専門家の判断と一致し, 発話レベルの品質予測の弱教師付き学習が, 極めて達成可能であることを示す最初の方法となった。

関連論文リスト

• Toward More Accurate and Generalizable Evaluation Metrics for Task-Oriented Dialogs [19.43845920149182]
  ダイアログ品質と呼ばれる新しいダイアログレベルのアノテーションワークフローを導入する。 DQAの専門家アノテータは、ダイアログ全体の品質を評価し、ゴール完了やユーザ感情などの属性に対するラベルダイアログも評価する。 我々は,大規模音声アシスタントプラットフォームにおける対話品質を評価する上で,高品質なヒューマンアノテートデータを持つことが重要であると論じている。
  論文  参考訳（メタデータ） (2023-06-06T19:43:29Z)
• Analyzing and Evaluating Faithfulness in Dialogue Summarization [67.07947198421421]
  まず,対話要約の忠実度に関するきめ細かな人間の分析を行い,生成した要約の35%以上がソース対話に忠実に一致していないことを観察する。 そこで本研究では,ルールベース変換により生成した複数選択質問を用いたモデルレベルの忠実度評価手法を提案する。
  論文  参考訳（メタデータ） (2022-10-21T07:22:43Z)
• DynaEval: Unifying Turn and Dialogue Level Evaluation [60.66883575106898]
  統合された自動評価フレームワークDynaEvalを提案する。 ターンレベルの評価を行うことができるが、対話全体の品質を公平に考慮することもできる。 実験の結果,DynaEvalは最先端の対話コヒーレンスモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-06-02T12:23:18Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
  DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。 次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
  論文  参考訳（メタデータ） (2020-12-24T18:47:49Z)
• Turn-level Dialog Evaluation with Dialog-level Weak Signals for Bot-Human Hybrid Customer Service Systems [0.0]
  インタラクションの間いつでも、顧客サービスコンタクトにおける成功や価値の複数の側面を定量化する機械学習アプローチを開発しました。 いくつかのアプリケーションにおいて、Amazonのカスタマーサービス品質がどのように改善されているかを示します。
  論文  参考訳（メタデータ） (2020-10-25T19:36:23Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。