論文の概要: Development and Validation of Engagement and Rapport Scales for Evaluating User Experience in Multimodal Dialogue Systems
- arxiv url: http://arxiv.org/abs/2505.17075v1
- Date: Tue, 20 May 2025 05:19:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-26 18:08:33.52991
- Title: Development and Validation of Engagement and Rapport Scales for Evaluating User Experience in Multimodal Dialogue Systems
- Title（参考訳）: マルチモーダル対話システムにおけるユーザエクスペリエンス評価のためのエンゲージメントとRapport尺度の開発と検証
- Authors: Fuma Kurata, Mao Saeki, Masaki Eguchi, Shungo Suzuki, Hiroaki Takatsu, Yoichi Matsuyama,
- Abstract要約: この尺度は、教育心理学、社会心理学、第二言語習得における関与の理論に基づいて設計された。
英語の日本語学習者は、訓練された教師と対話エージェントでロールプレイとディスカッションのタスクを完了した。
- 参考スコア（独自算出の注目度）: 1.4953643992734462
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study aimed to develop and validate two scales of engagement and rapport to evaluate the user experience quality with multimodal dialogue systems in the context of foreign language learning. The scales were designed based on theories of engagement in educational psychology, social psychology, and second language acquisition.Seventy-four Japanese learners of English completed roleplay and discussion tasks with trained human tutors and a dialog agent. After each dialogic task was completed, they responded to the scales of engagement and rapport. The validity and reliability of the scales were investigated through two analyses. We first conducted analysis of Cronbach's alpha coefficient and a series of confirmatory factor analyses to test the structural validity of the scales and the reliability of our designed items. We then compared the scores of engagement and rapport between the dialogue with human tutors and the one with a dialogue agent. The results revealed that our scales succeeded in capturing the difference in the dialogue experience quality between the human interlocutors and the dialogue agent from multiple perspectives.
- Abstract（参考訳）: 本研究では,外国語学習の文脈において,多モーダル対話システムを用いたユーザエクスペリエンスの質を評価するために,2種類のエンゲージメント尺度とラポートを開発し,検証することを目的とした。
この尺度は、教育心理学、社会心理学、第二言語習得におけるエンゲージメントの理論に基づいて設計され、英語学習者74人が、訓練された人間教師と対話エージェントによるロールプレイとディスカッションのタスクを完了した。
各ダイアログタスクが完了した後、彼らはエンゲージメントとラプポートのスケールに反応した。
尺度の妥当性と信頼性を2つの分析により検討した。
最初にCronbachのα係数と一連の確認因子の分析を行い、尺度の構造的妥当性と設計項目の信頼性を検証した。
次に,人間教師との対話と対話エージェントの対話とを,エンゲージメントとラポートのスコアを比較した。
その結果,対話体験の質の差を多視点から把握することに成功した。
関連論文リスト
- Interaction Matters: An Evaluation Framework for Interactive Dialogue Assessment on English Second Language Conversations [22.56326809612278]
第二言語話者としての英語の文脈における対話的対話評価のための評価フレームワークを提案する。
本フレームワークは,対話レベルの対話性ラベルとマイクロレベルのスパン特徴を収集する。
各種機械学習モデルの構築により,マイクロレベルの特徴がESL対話の(高レベルな)相互作用品質に与える影響について検討した。
論文 参考訳（メタデータ） (2024-07-09T00:56:59Z) - Rapport-Driven Virtual Agent: Rapport Building Dialogue Strategy for Improving User Experience at First Meeting [3.059886686838972]
本研究の目的は、ラプポート構築戦略を用いて、小さな講演を通して人間とエージェントのラプポートを確立することである。
対話戦略に基づく仮想エージェントのためのこの戦略を,大規模言語モデル(LLM)の推進により実現した。
論文 参考訳（メタデータ） (2024-06-14T08:47:15Z) - A Benchmark for Understanding and Generating Dialogue between Characters
in Stories [75.29466820496913]
本研究は,機械が物語の対話を理解・生成できるかどうかを探求する最初の研究である。
マスク付き対話生成と対話話者認識という2つの新しいタスクを提案する。
DialStoryの自動評価と手動評価で既存のモデルをテストすることで,提案課題の難しさを示す。
論文 参考訳（メタデータ） (2022-09-18T10:19:04Z) - What Went Wrong? Explaining Overall Dialogue Quality through
Utterance-Level Impacts [15.018259942339448]
本稿では,ユーザ・システム間相互作用と対話品質の関係を学習する会話ログの自動解析手法を提案する。
提案手法は,発話レベルのアノテーションを使わずに,ユーザ評価全体からインタラクションの影響を学習する。
実験により,我々のモデルからの自動解析が専門家の判断と一致していることが示され,このような発話レベルの品質予測の弱い教師付き学習が達成可能であることを示す最初の方法となった。
論文 参考訳（メタデータ） (2021-10-31T19:12:29Z) - Structural Pre-training for Dialogue Comprehension [51.215629336320305]
本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。
対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。
広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
論文 参考訳（メタデータ） (2021-05-23T15:16:54Z) - Is this Dialogue Coherent? Learning from Dialogue Acts and Entities [82.44143808977209]
スイッチボード・コヒーレンス・コーパス(SWBD-Coh)コーパス(Switchboard Coherence corpus,SWBD-Coh)を作成する。
コーパスの統計的分析は、ターンコヒーレンス知覚がエンティティの分布パターンによってどのように影響を受けるかを示している。
DA情報とエンティティ情報を組み合わせたモデルでは,応答選択とターンコヒーレンス評価の両面で最高の性能が得られることがわかった。
論文 参考訳（メタデータ） (2020-06-17T21:02:40Z) - Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。
実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
論文 参考訳（メタデータ） (2020-05-27T02:05:33Z) - Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical
Analysis of System-wise Evaluation [114.48767388174218]
本稿では,異なる設定の異なるモジュールから構成される異なるダイアログシステムについて,実験的検討を行った。
この結果から, 粗粒度ラベルで学習した連系や終端モデルを用いたシステムよりも, 細粒度監視信号を用いて訓練したパイプラインダイアログシステムの方が, 高い性能が得られることが示唆された。
論文 参考訳（メタデータ） (2020-05-15T05:20:06Z) - Dialogue-Based Relation Extraction [53.2896545819799]
本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。
我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。
実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
論文 参考訳（メタデータ） (2020-04-17T03:51:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。