論文の概要: Understanding How People Rate Their Conversations
- arxiv url: http://arxiv.org/abs/2206.00167v1
- Date: Wed, 1 Jun 2022 00:45:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-02 16:37:46.628913
- Title: Understanding How People Rate Their Conversations
- Title(参考訳): 人々が会話を評価する方法を理解する
- Authors: Alexandros Papangelis, Nicole Chartier, Pankaj Rajan, Julia
Hirschberg, Dilek Hakkani-Tur
- Abstract要約: 我々は、人々が会話エージェントとのインタラクションをどのように評価するかをよりよく理解するために研究を行う。
我々は、評価の変動を説明する変数として、同意性と外向性に焦点を当てる。
- 参考スコア(独自算出の注目度): 73.17730062864314
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: User ratings play a significant role in spoken dialogue systems. Typically,
such ratings tend to be averaged across all users and then utilized as feedback
to improve the system or personalize its behavior. While this method can be
useful to understand broad, general issues with the system and its behavior, it
does not take into account differences between users that affect their ratings.
In this work, we conduct a study to better understand how people rate their
interactions with conversational agents. One macro-level characteristic that
has been shown to correlate with how people perceive their inter-personal
communication is personality. We specifically focus on agreeableness and
extraversion as variables that may explain variation in ratings and therefore
provide a more meaningful signal for training or personalization. In order to
elicit those personality traits during an interaction with a conversational
agent, we designed and validated a fictional story, grounded in prior work in
psychology. We then implemented the story into an experimental conversational
agent that allowed users to opt-in to hearing the story. Our results suggest
that for human-conversational agent interactions, extraversion may play a role
in user ratings, but more data is needed to determine if the relationship is
significant. Agreeableness, on the other hand, plays a statistically
significant role in conversation ratings: users who are more agreeable are more
likely to provide a higher rating for their interaction. In addition, we found
that users who opted to hear the story were, in general, more likely to rate
their conversational experience higher than those who did not.
- Abstract(参考訳): ユーザ評価は音声対話システムにおいて重要な役割を果たす。
通常、このような評価は全ユーザー平均化され、フィードバックとしてシステムの改善や行動のパーソナライズに利用される。
この手法は,システムとその動作に関する幅広い一般的な問題を理解するのに有用であるが,評価に影響を与えるユーザ間の差異を考慮に入れない。
本研究は,会話エージェントとのインタラクションを評価する方法の理解を深める研究である。
マクロレベルの特徴は、人々が対人コミュニケーションをどのように感じているかと相関している。
特に,評価の変動を説明する変数としての適合性と外向性に注目し,トレーニングやパーソナライズにおいてより有意義なシグナルを提供する。
対話エージェントと対話する際,これらの性格特性を引き出すために,心理学の先行研究に基礎を置いた架空の物語を設計・検証した。
そして、そのストーリーを実験的な会話エージェントに実装し、ユーザーがそのストーリーを聴けるようにしました。
以上の結果から,人間-会話エージェントの相互作用においては,外向性がユーザ評価に果たす役割を担っているが,その関係が重要であるかどうかを判断するには,より多くのデータが必要であることが示唆された。
一方、同意度は、会話のレーティングにおいて統計的に重要な役割を果たす。
さらに、この話を聞くことを選択したユーザーは、概して会話体験を、そうでないユーザーよりも高く評価する可能性が高いこともわかりました。
関連論文リスト
- CloChat: Understanding How People Customize, Interact, and Experience
Personas in Large Language Models [15.915071948354466]
CloChatは、大規模言語モデルにおけるエージェントペルソナの簡単かつ正確なカスタマイズをサポートするインターフェースである。
その結果、参加者はカスタマイズされたエージェントと感情結合を形成し、よりダイナミックな対話を行い、相互作用を持続することに興味を示した。
論文 参考訳(メタデータ) (2024-02-23T11:25:17Z) - An Analysis of User Behaviors for Objectively Evaluating Spoken Dialogue
Systems [26.003947740875482]
ソーシャル対話タスクにおけるユーザ行動と主観的評価スコアの関係について検討する。
その結果, ユーザの発話が主である対話作業においては, 聞き取りや面接など, 発話数や単語数などの指標が重要な役割を担っていることが明らかとなった。
論文 参考訳(メタデータ) (2024-01-10T01:02:26Z) - Our Model Achieves Excellent Performance on MovieLens: What Does it
Mean? [34.12494147229374]
MovieLensのデータセットを精巧に分析する。
MovieLensプラットフォームと対話する場合、異なる段階でのユーザインタラクションには大きな違いがある。
MovieLensデータセット上で優れたレコメンデーション精度を達成するモデルは、実際には優れたパフォーマンスを示すものではないかもしれない。
論文 参考訳(メタデータ) (2023-07-19T13:44:32Z) - Let's Get Personal: Personal Questions Improve SocialBot Performance in
the Alexa Prize [0.0]
音声対話コミュニティにおいて,対話型オープンドメイン対話システムの構築に焦点が当てられている。
従来の対話システムとは異なり、これらの対話システムは特定の情報やドメインの制限を前提とすることはできない。
我々は、Amazon Echoユーザーが大規模にアクセスし、評価する、堅牢なオープンドメイン会話システムであるAthenaを開発した。
論文 参考訳(メタデータ) (2023-03-09T00:10:29Z) - Towards Building a Personalized Dialogue Generator via Implicit User
Persona Detection [0.0]
高品質なトランスミッションは基本的に、相手のペルソナを反映して構築されていると考えています。
そこで本研究では,暗黙のユーザペルソナを検知する対話生成手法を提案する。
論文 参考訳(メタデータ) (2022-04-15T08:12:10Z) - Interacting with Non-Cooperative User: A New Paradigm for Proactive
Dialogue Policy [83.61404191470126]
インタラクティブな環境下でプロアクティブなポリシーを学習できるI-Proという新しいソリューションを提案する。
具体的には,4つの要因からなる学習目標重みを通じてトレードオフを学習する。
実験の結果,I-Proは,有効性と解釈性において,ベースラインを著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2022-04-07T14:11:31Z) - Revealing Persona Biases in Dialogue Systems [64.96908171646808]
対話システムにおけるペルソナバイアスに関する最初の大規模研究について述べる。
我々は、異なる社会階級、性的指向、人種、性別のペルソナの分析を行う。
BlenderおよびDialoGPT対話システムの研究では、ペルソナの選択が生成された応答の害の程度に影響を与える可能性があることを示しています。
論文 参考訳(メタデータ) (2021-04-18T05:44:41Z) - Towards Persona-Based Empathetic Conversational Models [58.65492299237112]
共感的会話モデルは、多くのドメインにおけるユーザの満足度とタスク結果を改善することが示されている。
心理学において、ペルソナは人格と高い相関関係があることが示され、それによって共感に影響を及ぼす。
本研究では,ペルソナに基づく共感的会話に対する新たな課題を提案し,ペルソナが共感的反応に与える影響に関する最初の経験的研究を示す。
論文 参考訳(メタデータ) (2020-04-26T08:51:01Z) - You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。
そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
論文 参考訳(メタデータ) (2020-04-11T12:51:07Z) - IART: Intent-aware Response Ranking with Transformers in
Information-seeking Conversation Systems [80.0781718687327]
我々は、情報探索会話におけるユーザ意図パターンを分析し、意図認識型ニューラルレスポンスランキングモデル「IART」を提案する。
IARTは、ユーザ意図モデリングと言語表現学習とTransformerアーキテクチャの統合の上に構築されている。
論文 参考訳(メタデータ) (2020-02-03T05:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。