論文の概要: DiQAD: A Benchmark Dataset for End-to-End Open-domain Dialogue Assessment

• arxiv url: http://arxiv.org/abs/2310.16319v1
• Date: Wed, 25 Oct 2023 03:04:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 17:07:51.615083
• Title: DiQAD: A Benchmark Dataset for End-to-End Open-domain Dialogue Assessment
• Title（参考訳）: DiQAD: エンドツーエンドのオープンドメイン対話評価のためのベンチマークデータセット
• Authors: Yukun Zhao, Lingyong Yan, Weiwei Sun, Chong Meng, Shuaiqiang Wang, Zhicong Cheng, Zhaochun Ren, Dawei Yin
• Abstract要約: オープンドメインの対話品質を自動的に評価するための大規模対話品質評価データセット(DiQAD)をリリースする。 具体的には,対話の質に関する人間の判断に適合する寸法に基づいて,評価基準を確立する。 また、これらの基準に基づいて実際のユーザ間で会話する大規模な対話を注釈付けし、約10万の対話を含む。
• 参考スコア（独自算出の注目度）: 38.26039323208791
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Dialogue assessment plays a critical role in the development of open-domain dialogue systems. Existing work are uncapable of providing an end-to-end and human-epistemic assessment dataset, while they only provide sub-metrics like coherence or the dialogues are conversed between annotators far from real user settings. In this paper, we release a large-scale dialogue quality assessment dataset (DiQAD), for automatically assessing open-domain dialogue quality. Specifically, we (1) establish the assessment criteria based on the dimensions conforming to human judgements on dialogue qualities, and (2) annotate large-scale dialogues that conversed between real users based on these annotation criteria, which contains around 100,000 dialogues. We conduct several experiments and report the performances of the baselines as the benchmark on DiQAD. The dataset is openly accessible at https://github.com/yukunZhao/Dataset_Dialogue_quality_evaluation.
• Abstract（参考訳）: 対話評価はオープンドメイン対話システムの開発において重要な役割を担っている。 既存の作業では、エンドツーエンドおよび人文的評価データセットを提供することはできないが、コヒーレンスのようなサブメトリックのみを提供するか、実際のユーザ設定から遠く離れたアノテータ間で会話される。 本稿では,オープンドメインの対話品質を自動評価する大規模対話品質評価データセット(DiQAD)をリリースする。 具体的には,(1)対話の質に関する人間の判断に適合する次元に基づく評価基準を定め,(2)実ユーザ間で会話する大規模対話を,約10万の対話を含むアノテーション基準に基づいてアノテートする。 DiQADのベンチマークとして,いくつかの実験を行い,ベースラインの性能を報告する。 データセットはhttps://github.com/yukunZhao/Dataset_Dialogue_quality_evaluationで公開されている。

関連論文リスト

• ComperDial: Commonsense Persona-grounded Dialogue Dataset and Benchmark [26.100299485985197]
  ComperDialは、99の対話エージェントから収集された1,485の会話において、10,395の対話ターンのための人間による応答で構成されている。 シングルターン応答スコアに加えて、ComperDialには対話レベルの人間注釈スコアも含まれている。 ComperDialから構築した新しい自動評価尺度は、人間の会話に対するモデル生成対話の一般的な類似度を測定する。
  論文  参考訳（メタデータ） (2024-06-17T05:51:04Z)
• PairEval: Open-domain Dialogue Evaluation with Pairwise Comparison [38.03304773600225]
  PairEvalは、異なる会話における応答と品質を比較して応答を評価するための、新しい対話評価指標である。 PairEvalは基準値よりも人間の判断と高い相関を示すことを示す。 また,提案手法は,オープンドメイン対話システムからの共通障害の検出において,より堅牢であることがわかった。
  論文  参考訳（メタデータ） (2024-04-01T09:35:06Z)
• Toward More Accurate and Generalizable Evaluation Metrics for Task-Oriented Dialogs [19.43845920149182]
  ダイアログ品質と呼ばれる新しいダイアログレベルのアノテーションワークフローを導入する。 DQAの専門家アノテータは、ダイアログ全体の品質を評価し、ゴール完了やユーザ感情などの属性に対するラベルダイアログも評価する。 我々は,大規模音声アシスタントプラットフォームにおける対話品質を評価する上で,高品質なヒューマンアノテートデータを持つことが重要であると論じている。
  論文  参考訳（メタデータ） (2023-06-06T19:43:29Z)
• ACCENT: An Automatic Event Commonsense Evaluation Metric for Open-Domain Dialogue Systems [81.8658402934838]
  我々は,コモンセンス知識ベース(CSKB)によるイベントコモンセンス評価であるACCENTを提案する。 実験の結果,ACCENTは事象のコモンセンス評価に有効な指標であり,既存の基準値よりも人間の判断との相関性が高いことがわかった。
  論文  参考訳（メタデータ） (2023-05-12T23:11:48Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• MME-CRS: Multi-Metric Evaluation Based on Correlation Re-Scaling for Evaluating Open-Domain Dialogue [15.31433922183745]
  オープンドメイン対話の評価のための相関再スケーリング(MME-CRS)に基づくマルチメトリック評価を提案する。 MME-CRSはDSTC10トラック5サブタスクの最終テストデータで第1位である。
  論文  参考訳（メタデータ） (2022-06-19T13:43:59Z)
• FlowEval: A Consensus-Based Dialogue Evaluation Framework Using Segment Act Flows [63.116280145770006]
  本稿では,音声レベルからセグメントレベルへのダイアログ行為の拡張であるセグメントアクトを提案し,大規模データセットをクラウドソースする。 セグメントアクトフローを利用するために,セグメントアクションのシーケンスを評価のために,最初のコンセンサスに基づく対話評価フレームワークであるFlowEvalを開発した。
  論文  参考訳（メタデータ） (2022-02-14T11:37:20Z)
• User Response and Sentiment Prediction for Automatic Dialogue Evaluation [69.11124655437902]
  本稿では,次のユーザ発話の感情をターンレベル評価やダイアログレベル評価に利用することを提案する。 実験により,本モデルによる音声対話データセットと音声対話データセットの両方において,既存の自動評価指標よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-11-16T22:19:17Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。