論文の概要: Exploring the Impact of Human Evaluator Group on Chat-Oriented Dialogue Evaluation

• arxiv url: http://arxiv.org/abs/2309.07998v1
• Date: Thu, 14 Sep 2023 19:19:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 16:55:18.197683
• Title: Exploring the Impact of Human Evaluator Group on Chat-Oriented Dialogue Evaluation
• Title（参考訳）: チャット指向対話評価における人間評価グループの影響の検討
• Authors: Sarah E. Finch, James D. Finch, Jinho D. Choi
• Abstract要約: 本稿では、4つの異なる評価器群を用いた4つの最先端対話システムをテストすることによって、評価器群が対話システム評価に与える影響を解析する。 分析の結果,Pairwiseでは見られなかったLikert評価群に対する評価群に対するロバスト性が明らかとなった。
• 参考スコア（独自算出の注目度）: 13.651502777079237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human evaluation has been widely accepted as the standard for evaluating chat-oriented dialogue systems. However, there is a significant variation in previous work regarding who gets recruited as evaluators. Evaluator groups such as domain experts, university students, and professional annotators have been used to assess and compare dialogue systems, although it is unclear to what extent the choice of an evaluator group can affect results. This paper analyzes the evaluator group impact on dialogue system evaluation by testing 4 state-of-the-art dialogue systems using 4 distinct evaluator groups. Our analysis reveals a robustness towards evaluator groups for Likert evaluations that is not seen for Pairwise, with only minor differences observed when changing evaluator groups. Furthermore, two notable limitations to this robustness are observed, which reveal discrepancies between evaluators with different levels of chatbot expertise and indicate that evaluator objectivity is beneficial for certain dialogue metrics.
• Abstract（参考訳）: チャット指向対話システム評価の標準として,人間の評価が広く受け入れられている。 しかし、誰が評価官として採用されるかについては、以前の作品に大きな違いがある。 ドメインエキスパート、大学生、プロのアノテータなどの評価グループは、対話システムの評価と比較に使われてきたが、評価グループの選択が結果にどの程度影響するかは定かではない。 本稿では、4つの異なる評価器群を用いた4つの最先端対話システムをテストすることによって、評価器群が対話システム評価に与える影響を解析する。 分析の結果,Pairwiseでは見られなかったLikert評価群に対する評価群に対するロバスト性が明らかとなった。 さらに、この頑健性に対する2つの顕著な制限が観察され、これはチャットボットの専門知識の異なる評価者間での相違を明らかにし、ある対話指標に対して評価者客観性が有益であることを示す。

関連論文リスト

• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• An Analysis of User Behaviors for Objectively Evaluating Spoken Dialogue Systems [26.003947740875482]
  ソーシャル対話タスクにおけるユーザ行動と主観的評価スコアの関係について検討する。 その結果, ユーザの発話が主である対話作業においては, 聞き取りや面接など, 発話数や単語数などの指標が重要な役割を担っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-10T01:02:26Z)
• Rethinking Response Evaluation from Interlocutor's Eye for Open-Domain Dialogue Systems [14.98159964397052]
  我々は,自動応答評価器に必要とされる機能について,対話者の視点から分析・検討した。 Hazumiデータセットの最初の実験では、自動応答評価をインターロケータの判断と相関させる上で、インターロケータ認識が重要な役割を担っていることが明らかとなった。 X(元Twitter)での大規模な会話を用いた2回目の実験では、対話継続性予測が人間からのフィードバックなしにインターロケータ対応評価器を訓練できることが確認された。
  論文  参考訳（メタデータ） (2024-01-04T13:15:41Z)
• Open-Domain Dialogue Quality Evaluation: Deriving Nugget-level Scores from Turn-level Scores [17.791039417061565]
  本稿では,ターンをナゲット(対話行為に関連する表現)に分解する評価手法を提案する。 ケーススタディにより,評価手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-30T15:14:50Z)
• Don't Forget Your ABC's: Evaluating the State-of-the-Art in Chat-Oriented Dialogue Systems [12.914512702731528]
  本稿では,対話システムの挙動を推定する新しい人的評価手法を提案する。 提案手法は,4つの最先端なオープンドメイン対話システムの評価と既存手法との比較に用いられている。
  論文  参考訳（メタデータ） (2022-12-18T22:07:55Z)
• MDD-Eval: Self-Training on Augmented Data for Multi-Domain Dialogue Evaluation [66.60285024216573]
  対話評価器はドメイン間の評価も行うことが期待される。 最先端自動対話評価指標(ADM)の多くはマルチドメイン評価のために設計されていない。 私たちはこの問題に対処するための汎用的で堅牢なフレームワークMDD-Evalを設計する動機があります。
  論文  参考訳（メタデータ） (2021-12-14T07:01:20Z)
• DynaEval: Unifying Turn and Dialogue Level Evaluation [60.66883575106898]
  統合された自動評価フレームワークDynaEvalを提案する。 ターンレベルの評価を行うことができるが、対話全体の品質を公平に考慮することもできる。 実験の結果,DynaEvalは最先端の対話コヒーレンスモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-06-02T12:23:18Z)
• Assessing Dialogue Systems with Distribution Distances [48.61159795472962]
  そこで本研究では,対話と実世界の会話の分散的距離を計算し,対話システムの性能を計測する。 複数の対話コーパスを用いた実験により,提案手法は既存の指標よりも人間の判断によく相関することが示された。
  論文  参考訳（メタデータ） (2021-05-06T10:30:13Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical Analysis of System-wise Evaluation [114.48767388174218]
  本稿では,異なる設定の異なるモジュールから構成される異なるダイアログシステムについて,実験的検討を行った。 この結果から, 粗粒度ラベルで学習した連系や終端モデルを用いたシステムよりも, 細粒度監視信号を用いて訓練したパイプラインダイアログシステムの方が, 高い性能が得られることが示唆された。
  論文  参考訳（メタデータ） (2020-05-15T05:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。