論文の概要: Understanding How People Rate Their Conversations

• arxiv url: http://arxiv.org/abs/2206.00167v1
• Date: Wed, 1 Jun 2022 00:45:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 16:37:46.628913
• Title: Understanding How People Rate Their Conversations
• Title（参考訳）: 人々が会話を評価する方法を理解する
• Authors: Alexandros Papangelis, Nicole Chartier, Pankaj Rajan, Julia Hirschberg, Dilek Hakkani-Tur
• Abstract要約: 我々は、人々が会話エージェントとのインタラクションをどのように評価するかをよりよく理解するために研究を行う。 我々は、評価の変動を説明する変数として、同意性と外向性に焦点を当てる。
• 参考スコア（独自算出の注目度）: 73.17730062864314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: User ratings play a significant role in spoken dialogue systems. Typically, such ratings tend to be averaged across all users and then utilized as feedback to improve the system or personalize its behavior. While this method can be useful to understand broad, general issues with the system and its behavior, it does not take into account differences between users that affect their ratings. In this work, we conduct a study to better understand how people rate their interactions with conversational agents. One macro-level characteristic that has been shown to correlate with how people perceive their inter-personal communication is personality. We specifically focus on agreeableness and extraversion as variables that may explain variation in ratings and therefore provide a more meaningful signal for training or personalization. In order to elicit those personality traits during an interaction with a conversational agent, we designed and validated a fictional story, grounded in prior work in psychology. We then implemented the story into an experimental conversational agent that allowed users to opt-in to hearing the story. Our results suggest that for human-conversational agent interactions, extraversion may play a role in user ratings, but more data is needed to determine if the relationship is significant. Agreeableness, on the other hand, plays a statistically significant role in conversation ratings: users who are more agreeable are more likely to provide a higher rating for their interaction. In addition, we found that users who opted to hear the story were, in general, more likely to rate their conversational experience higher than those who did not.
• Abstract（参考訳）: ユーザ評価は音声対話システムにおいて重要な役割を果たす。 通常、このような評価は全ユーザー平均化され、フィードバックとしてシステムの改善や行動のパーソナライズに利用される。 この手法は,システムとその動作に関する幅広い一般的な問題を理解するのに有用であるが,評価に影響を与えるユーザ間の差異を考慮に入れない。 本研究は,会話エージェントとのインタラクションを評価する方法の理解を深める研究である。 マクロレベルの特徴は、人々が対人コミュニケーションをどのように感じているかと相関している。 特に,評価の変動を説明する変数としての適合性と外向性に注目し,トレーニングやパーソナライズにおいてより有意義なシグナルを提供する。 対話エージェントと対話する際,これらの性格特性を引き出すために,心理学の先行研究に基礎を置いた架空の物語を設計・検証した。 そして、そのストーリーを実験的な会話エージェントに実装し、ユーザーがそのストーリーを聴けるようにしました。 以上の結果から,人間-会話エージェントの相互作用においては,外向性がユーザ評価に果たす役割を担っているが,その関係が重要であるかどうかを判断するには,より多くのデータが必要であることが示唆された。 一方、同意度は、会話のレーティングにおいて統計的に重要な役割を果たす。 さらに、この話を聞くことを選択したユーザーは、概して会話体験を、そうでないユーザーよりも高く評価する可能性が高いこともわかりました。

関連論文リスト

• Interactive Dialogue Agents via Reinforcement Learning on Hindsight Regenerations [58.65755268815283]
  多くの実際の対話は対話的であり、つまりエージェントの発話が会話の相手に影響を与えるか、情報を引き出すか、意見を変えるかである。 この事実を利用して、既存の最適データを書き直し、拡張し、オフライン強化学習(RL)を介してトレーニングする。 実際の人間によるユーザ調査の結果、我々のアプローチは既存の最先端の対話エージェントを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-07T21:37:51Z)
• Large Language Models Can Infer Personality from Free-Form User Interactions [0.0]
  GPT-4は、パーソナリティを適度な精度で推測することができ、以前のアプローチよりも優れていた。 その結果,人格評価への直接的注力は,ユーザエクスペリエンスの低下を招いていないことがわかった。 予備的な分析は、人格推定の正確さは、社会デミノグラフィーのサブグループによってわずかに異なることを示唆している。
  論文  参考訳（メタデータ） (2024-05-19T20:33:36Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• CloChat: Understanding How People Customize, Interact, and Experience Personas in Large Language Models [15.915071948354466]
  CloChatは、大規模言語モデルにおけるエージェントペルソナの簡単かつ正確なカスタマイズをサポートするインターフェースである。 その結果、参加者はカスタマイズされたエージェントと感情結合を形成し、よりダイナミックな対話を行い、相互作用を持続することに興味を示した。
  論文  参考訳（メタデータ） (2024-02-23T11:25:17Z)
• An Analysis of User Behaviors for Objectively Evaluating Spoken Dialogue Systems [26.003947740875482]
  ソーシャル対話タスクにおけるユーザ行動と主観的評価スコアの関係について検討する。 その結果, ユーザの発話が主である対話作業においては, 聞き取りや面接など, 発話数や単語数などの指標が重要な役割を担っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-10T01:02:26Z)
• Towards Building a Personalized Dialogue Generator via Implicit User Persona Detection [0.0]
  高品質なトランスミッションは基本的に、相手のペルソナを反映して構築されていると考えています。 そこで本研究では,暗黙のユーザペルソナを検知する対話生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-15T08:12:10Z)
• Revealing Persona Biases in Dialogue Systems [64.96908171646808]
  対話システムにおけるペルソナバイアスに関する最初の大規模研究について述べる。 我々は、異なる社会階級、性的指向、人種、性別のペルソナの分析を行う。 BlenderおよびDialoGPT対話システムの研究では、ペルソナの選択が生成された応答の害の程度に影響を与える可能性があることを示しています。
  論文  参考訳（メタデータ） (2021-04-18T05:44:41Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)
• IART: Intent-aware Response Ranking with Transformers in Information-seeking Conversation Systems [80.0781718687327]
  我々は、情報探索会話におけるユーザ意図パターンを分析し、意図認識型ニューラルレスポンスランキングモデル「IART」を提案する。 IARTは、ユーザ意図モデリングと言語表現学習とTransformerアーキテクチャの統合の上に構築されている。
  論文  参考訳（メタデータ） (2020-02-03T05:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。