Fugu-MT 論文翻訳(概要): Open-Domain Dialogue Quality Evaluation: Deriving Nugget-level Scores from Turn-level Scores

論文の概要: Open-Domain Dialogue Quality Evaluation: Deriving Nugget-level Scores from Turn-level Scores

arxiv url: http://arxiv.org/abs/2310.00410v1
Date: Sat, 30 Sep 2023 15:14:50 GMT
ステータス: 処理完了
システム内更新日: 2023-10-05 04:28:58.712547
Title: Open-Domain Dialogue Quality Evaluation: Deriving Nugget-level Scores from Turn-level Scores
Title（参考訳）: オープンドメイン対話品質評価:ターンレベルスコアからNuggetレベルスコアを導出する
Authors: Rikiya Takehi, Akihisa Watanabe and Tetsuya Sakai
Abstract要約: 本稿では,ターンをナゲット(対話行為に関連する表現)に分解する評価手法を提案する。ケーススタディにより,評価手法の有効性を実証する。
参考スコア（独自算出の注目度）: 17.791039417061565
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Existing dialogue quality evaluation systems can return a score for a given system turn from a particular viewpoint, e.g., engagingness. However, to improve dialogue systems by locating exactly where in a system turn potential problems lie, a more fine-grained evaluation may be necessary. We therefore propose an evaluation approach where a turn is decomposed into nuggets (i.e., expressions associated with a dialogue act), and nugget-level evaluation is enabled by leveraging an existing turn-level evaluation system. We demonstrate the potential effectiveness of our evaluation method through a case study.
Abstract（参考訳）: 既存の対話品質評価システムは、あるシステムに対するスコアを特定の視点、例えば係合性から返却することができる。しかし,システム内の潜在的な問題の正確な位置を特定することで対話システムを改善するためには,よりきめ細かい評価が必要である。そこで,既存のターンレベル評価システムを利用して,ターンをナゲット(対話行為に関連する表現)に分解し,ナゲットレベルの評価を可能にする評価手法を提案する。本評価手法の有効性を事例研究を通して実証する。

関連論文リスト

C-PMI: Conditional Pointwise Mutual Information for Turn-level Dialogue Evaluation [68.59356746305255]
本稿では,システムとユーザ間のターンレベルインタラクションを測定するための,モデルに依存しない新しいアプローチを提案する。提案手法は,既存の評価システムと比較して,人間の判断との相関性を大幅に改善する。
論文参考訳（メタデータ） (2023-06-27T06:58:03Z)
Toward More Accurate and Generalizable Evaluation Metrics for Task-Oriented Dialogs [19.43845920149182]
ダイアログ品質と呼ばれる新しいダイアログレベルのアノテーションワークフローを導入する。 DQAの専門家アノテータは、ダイアログ全体の品質を評価し、ゴール完了やユーザ感情などの属性に対するラベルダイアログも評価する。我々は,大規模音声アシスタントプラットフォームにおける対話品質を評価する上で,高品質なヒューマンアノテートデータを持つことが重要であると論じている。
論文参考訳（メタデータ） (2023-06-06T19:43:29Z)
FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
論文参考訳（メタデータ） (2023-03-31T23:58:28Z)
Don't Forget Your ABC's: Evaluating the State-of-the-Art in Chat-Oriented Dialogue Systems [12.914512702731528]
本稿では,対話システムの挙動を推定する新しい人的評価手法を提案する。提案手法は,4つの最先端なオープンドメイン対話システムの評価と既存手法との比較に用いられている。
論文参考訳（メタデータ） (2022-12-18T22:07:55Z)
FlowEval: A Consensus-Based Dialogue Evaluation Framework Using Segment Act Flows [63.116280145770006]
本稿では,音声レベルからセグメントレベルへのダイアログ行為の拡張であるセグメントアクトを提案し,大規模データセットをクラウドソースする。セグメントアクトフローを利用するために,セグメントアクションのシーケンスを評価のために,最初のコンセンサスに基づく対話評価フレームワークであるFlowEvalを開発した。
論文参考訳（メタデータ） (2022-02-14T11:37:20Z)
How to Evaluate Your Dialogue Models: A Review of Approaches [2.7834038784275403]
まず,評価手法を3つのクラス,すなわち自動評価,人間関係評価,ユーザシミュレータによる評価に分割する。また,対話手法の評価に適したベンチマークの存在についても詳細に論じている。
論文参考訳（メタデータ） (2021-08-03T08:52:33Z)
DynaEval: Unifying Turn and Dialogue Level Evaluation [60.66883575106898]
統合された自動評価フレームワークDynaEvalを提案する。ターンレベルの評価を行うことができるが、対話全体の品質を公平に考慮することもできる。実験の結果,DynaEvalは最先端の対話コヒーレンスモデルよりも優れていた。
論文参考訳（メタデータ） (2021-06-02T12:23:18Z)
Assessing Dialogue Systems with Distribution Distances [48.61159795472962]
そこで本研究では,対話と実世界の会話の分散的距離を計算し,対話システムの性能を計測する。複数の対話コーパスを用いた実験により,提案手法は既存の指標よりも人間の判断によく相関することが示された。
論文参考訳（メタデータ） (2021-05-06T10:30:13Z)
Towards Unified Dialogue System Evaluation: A Comprehensive Analysis of Current Evaluation Protocols [17.14709845342071]
現状では、チャット指向対話管理システムを評価するための様々な評価プロトコルが提案されている。本稿では,対話システムにおける自動評価手法と人的評価手法の総合的な合成について述べる。
論文参考訳（メタデータ） (2020-06-10T23:29:05Z)
Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation [114.48767388174218]
本稿では,異なる設定の異なるモジュールから構成される異なるダイアログシステムについて,実験的検討を行った。この結果から, 粗粒度ラベルで学習した連系や終端モデルを用いたシステムよりも, 細粒度監視信号を用いて訓練したパイプラインダイアログシステムの方が, 高い性能が得られることが示唆された。
論文参考訳（メタデータ） (2020-05-15T05:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。