論文の概要: ComperDial: Commonsense Persona-grounded Dialogue Dataset and Benchmark

• arxiv url: http://arxiv.org/abs/2406.11228v1
• Date: Mon, 17 Jun 2024 05:51:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 18:14:15.075894
• Title: ComperDial: Commonsense Persona-grounded Dialogue Dataset and Benchmark
• Title（参考訳）: ComperDial: Commonsense Persona-grounded Dialogue Dataset and Benchmark
• Authors: Hiromi Wakaki, Yuki Mitsufuji, Yoshinori Maeda, Yukiko Nishimura, Silin Gao, Mengjie Zhao, Keiichi Yamada, Antoine Bosselut,
• Abstract要約: ComperDialは、99の対話エージェントから収集された1,485の会話において、10,395の対話ターンのための人間による応答で構成されている。 シングルターン応答スコアに加えて、ComperDialには対話レベルの人間注釈スコアも含まれている。 ComperDialから構築した新しい自動評価尺度は、人間の会話に対するモデル生成対話の一般的な類似度を測定する。
• 参考スコア（独自算出の注目度）: 26.100299485985197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new benchmark, ComperDial, which facilitates the training and evaluation of evaluation metrics for open-domain dialogue systems. ComperDial consists of human-scored responses for 10,395 dialogue turns in 1,485 conversations collected from 99 dialogue agents submitted to the Commonsense Persona-grounded Dialogue (CPD) challenge. As a result, for any dialogue, our benchmark includes multiple diverse responses with variety of characteristics to ensure more robust evaluation of learned dialogue metrics. In addition to single-turn response scores, ComperDial also contains dialogue-level human-annotated scores, enabling joint assessment of multi-turn model responses throughout a dialogue. Finally, building off ComperDial, we devise a new automatic evaluation metric to measure the general similarity of model-generated dialogues to human conversations. Our experimental results demonstrate that our novel metric, CPDScore is more correlated with human judgments than existing metrics. We release both ComperDial and CPDScore to the community to accelerate development of automatic evaluation metrics for open-domain dialogue systems.
• Abstract（参考訳）: オープンドメイン対話システムにおける評価指標のトレーニングと評価を容易にする新しいベンチマークであるComperDialを提案する。 ComperDialは、Commonsense Persona-grounded Dialogue (CPD)チャレンジに提出された99人の対話エージェントから収集された1,485件の会話で、10,395件の対話を人間で表した応答で構成されている。 その結果,我々のベンチマークでは,学習した対話メトリクスのより堅牢な評価を実現するために,様々な特性を持つ多様な応答が多数含まれている。 シングルターン応答スコアに加えて、ComperDialには対話レベルの人間注釈スコアが含まれており、対話全体を通してマルチターンモデル応答のジョイントアセスメントを可能にする。 最後に,ComperDialから構築したモデル生成対話と人間の会話の一般的な類似度を測定するための,新しい自動評価指標を考案した。 実験の結果,新しい測定基準であるCPDScoreは既存の測定基準よりも人間の判断と相関していることがわかった。 我々は,オープンドメイン対話システムのための自動評価指標の開発を加速するために,ComperDialとCPDScoreの両方をコミュニティにリリースする。

関連論文リスト

• PairEval: Open-domain Dialogue Evaluation with Pairwise Comparison [38.03304773600225]
  PairEvalは、異なる会話における応答と品質を比較して応答を評価するための、新しい対話評価指標である。 PairEvalは基準値よりも人間の判断と高い相関を示すことを示す。 また,提案手法は,オープンドメイン対話システムからの共通障害の検出において,より堅牢であることがわかった。
  論文  参考訳（メタデータ） (2024-04-01T09:35:06Z)
• DiQAD: A Benchmark Dataset for End-to-End Open-domain Dialogue Assessment [38.26039323208791]
  オープンドメインの対話品質を自動的に評価するための大規模対話品質評価データセット(DiQAD)をリリースする。 具体的には,対話の質に関する人間の判断に適合する寸法に基づいて,評価基準を確立する。 また、これらの基準に基づいて実際のユーザ間で会話する大規模な対話を注釈付けし、約10万の対話を含む。
  論文  参考訳（メタデータ） (2023-10-25T03:04:57Z)
• Toward More Accurate and Generalizable Evaluation Metrics for Task-Oriented Dialogs [19.43845920149182]
  ダイアログ品質と呼ばれる新しいダイアログレベルのアノテーションワークフローを導入する。 DQAの専門家アノテータは、ダイアログ全体の品質を評価し、ゴール完了やユーザ感情などの属性に対するラベルダイアログも評価する。 我々は,大規模音声アシスタントプラットフォームにおける対話品質を評価する上で,高品質なヒューマンアノテートデータを持つことが重要であると論じている。
  論文  参考訳（メタデータ） (2023-06-06T19:43:29Z)
• FineD-Eval: Fine-grained Automatic Dialogue-Level Evaluation [58.46761798403072]
  本稿では,3つのサブメトリックから構成され,それぞれが特定の次元を対象とする対話レベルメトリクスを提案する。 サブメトリックは、新しい自己監督目的で訓練され、それぞれの次元について人間の判断と強い相関関係を示す。 既存の最先端のメトリクスと比較すると、組み合わせたメトリクスは平均して16%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2022-10-25T08:26:03Z)
• MDD-Eval: Self-Training on Augmented Data for Multi-Domain Dialogue Evaluation [66.60285024216573]
  対話評価器はドメイン間の評価も行うことが期待される。 最先端自動対話評価指標(ADM)の多くはマルチドメイン評価のために設計されていない。 私たちはこの問題に対処するための汎用的で堅牢なフレームワークMDD-Evalを設計する動機があります。
  論文  参考訳（メタデータ） (2021-12-14T07:01:20Z)
• A Comprehensive Assessment of Dialog Evaluation Metrics [9.34612743192798]
  標準言語評価指標は、ダイアログを評価するのに有効ではない。 近年の研究では、人間の判断とよく相関する、対話特有の新しい指標がいくつか提案されている。 本稿では,最近提案された対話評価指標を包括的に評価する。
  論文  参考訳（メタデータ） (2021-06-07T15:17:03Z)
• DynaEval: Unifying Turn and Dialogue Level Evaluation [60.66883575106898]
  統合された自動評価フレームワークDynaEvalを提案する。 ターンレベルの評価を行うことができるが、対話全体の品質を公平に考慮することもできる。 実験の結果,DynaEvalは最先端の対話コヒーレンスモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-06-02T12:23:18Z)
• Assessing Dialogue Systems with Distribution Distances [48.61159795472962]
  そこで本研究では,対話と実世界の会話の分散的距離を計算し,対話システムの性能を計測する。 複数の対話コーパスを用いた実験により,提案手法は既存の指標よりも人間の判断によく相関することが示された。
  論文  参考訳（メタデータ） (2021-05-06T10:30:13Z)
• Is this Dialogue Coherent? Learning from Dialogue Acts and Entities [82.44143808977209]
  スイッチボード・コヒーレンス・コーパス(SWBD-Coh)コーパス(Switchboard Coherence corpus,SWBD-Coh)を作成する。 コーパスの統計的分析は、ターンコヒーレンス知覚がエンティティの分布パターンによってどのように影響を受けるかを示している。 DA情報とエンティティ情報を組み合わせたモデルでは,応答選択とターンコヒーレンス評価の両面で最高の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2020-06-17T21:02:40Z)
• Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation [114.48767388174218]
  本稿では,異なる設定の異なるモジュールから構成される異なるダイアログシステムについて,実験的検討を行った。 この結果から, 粗粒度ラベルで学習した連系や終端モデルを用いたシステムよりも, 細粒度監視信号を用いて訓練したパイプラインダイアログシステムの方が, 高い性能が得られることが示唆された。
  論文  参考訳（メタデータ） (2020-05-15T05:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。