論文の概要: Personalized Chatbot Trustworthiness Ratings
- arxiv url: http://arxiv.org/abs/2005.10067v2
- Date: Sat, 10 Oct 2020 01:13:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-20 07:34:00.149890
- Title: Personalized Chatbot Trustworthiness Ratings
- Title(参考訳): パーソナライズされたチャットボットの信頼度評価
- Authors: Biplav Srivastava and Francesca Rossi and Sheema Usmani and and
Mariana Bernagozzi
- Abstract要約: 我々は、各問題に対する個別の格付けモジュールに依存するチャットボットのためのパーソナライズされた格付け手法を構想する。
この方法は、特定の信頼問題とは独立しており、集計手順にパラメトリックである。
- 参考スコア(独自算出の注目度): 19.537492400265577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conversation agents, commonly referred to as chatbots, are increasingly
deployed in many domains to allow people to have a natural interaction while
trying to solve a specific problem. Given their widespread use, it is important
to provide their users with methods and tools to increase users awareness of
various properties of the chatbots, including non-functional properties that
users may consider important in order to trust a specific chatbot. For example,
users may want to use chatbots that are not biased, that do not use abusive
language, that do not leak information to other users, and that respond in a
style which is appropriate for the user's cognitive level.
In this paper, we address the setting where a chatbot cannot be modified, its
training data cannot be accessed, and yet a neutral party wants to assess and
communicate its trustworthiness to a user, tailored to the user's priorities
over the various trust issues. Such a rating can help users choose among
alternative chatbots, developers test their systems, business leaders price
their offering, and regulators set policies. We envision a personalized rating
methodology for chatbots that relies on separate rating modules for each issue,
and users' detected priority orderings among the relevant trust issues, to
generate an aggregate personalized rating for the trustworthiness of a chatbot.
The method is independent of the specific trust issues and is parametric to the
aggregation procedure, thereby allowing for seamless generalization. We
illustrate its general use, integrate it with a live chatbot, and evaluate it
on four dialog datasets and representative user profiles, validated with user
surveys.
- Abstract(参考訳): 会話エージェント(一般的にチャットボットと呼ばれる)は、特定の問題を解こうとしながら自然な対話ができるように、多くのドメインに展開されている。
広く使われていることから、特定のチャットボットを信頼するためにユーザが重要と考える非機能プロパティを含む、チャットボットのさまざまな特性に対するユーザの認識を高めるための方法やツールを提供することが重要である。
例えば、ユーザーは偏りのないチャットボットを使い、乱暴な言語を使わない、他のユーザーに情報を漏らさない、そしてユーザーの認知レベルに適したスタイルで反応するかもしれない。
本稿では、チャットボットが変更できない設定、トレーニングデータにアクセスできない設定、そして、中立的な当事者は、様々な信頼の問題に対してユーザの優先順位に合わせて、その信頼性を評価し、ユーザに伝達したいと考えています。
このような評価は、ユーザーが代替のチャットボットの中から選択し、開発者がシステムをテストし、ビジネスリーダーが価格を設定、規制当局がポリシーを設定するのに役立つ。
本稿では,各課題に対する個別の格付けモジュールに依存したチャットボットの個別格付け手法と,関連する信頼問題の中からユーザが検出した優先順位付けを想定し,チャットボットの信頼性を総合的に評価する手法を提案する。
この方法は特定の信頼問題とは独立であり、集約手順にパラメトリックであり、シームレスな一般化を可能にする。
ユーザ調査で検証した4つのダイアログデータセットと代表ユーザプロファイルを用いて、その一般的な使用例を説明し、それをライブチャットボットに統合する。
関連論文リスト
- First-Person Fairness in Chatbots [13.787745105316043]
ユーザに対する公平さを意味する「ファースト・パーソナライズ・フェアネス」について検討する。
これには、アイデンティティやバックグラウンドに関わらず、すべてのユーザに高品質なレスポンスを提供することが含まれる。
本稿では,一人称フェアネスの1つの側面を評価するための,スケーラブルなプライバシ保護手法を提案する。
論文 参考訳(メタデータ) (2024-10-16T17:59:47Z) - Are LLM-based methods good enough for detecting unfair terms of service? [67.49487557224415]
大規模言語モデル(LLM)は、長いテキストベースの文書を解析するのに適している。
プライバシーポリシーの集合に対して個別に適用された12の質問からなるデータセットを構築します。
いくつかのオープンソースモデルは、いくつかの商用モデルと比較して高い精度を提供できる。
論文 参考訳(メタデータ) (2024-08-24T09:26:59Z) - Evaluating Chatbots to Promote Users' Trust -- Practices and Open
Problems [11.427175278545517]
本稿では,チャットボットのテスト実践について概説する。
ギャップをユーザ信頼の追求におけるオープンな問題として認識する。
サービスや製品のパフォーマンス、ユーザの満足度、社会に対する長期的意図しない結果に関する信頼の問題を緩和するための道筋を概説する。
論文 参考訳(メタデータ) (2023-09-09T22:40:30Z) - Rewarding Chatbots for Real-World Engagement with Millions of Users [1.2583983802175422]
本研究では,ユーザエンゲージメントを優先して保持性を高めるソーシャルチャットボットの開発について検討する。
提案手法では,ユーザインタラクションから収集した擬似ラベルを用いて報酬モデルのトレーニングを行う。
Chai Researchプラットフォーム上の1万人のデイリーチャットユーザを対象としたA/Bテストは、このアプローチがMCLを最大70%向上させることを示している。
今後の作業は、報酬モデルを使用してデータフライホイールを実現し、最新のユーザ会話を使用して、言語モデルと報酬モデルを交互に微調整することを目的としている。
論文 参考訳(メタデータ) (2023-03-10T18:53:52Z) - Understanding How People Rate Their Conversations [73.17730062864314]
我々は、人々が会話エージェントとのインタラクションをどのように評価するかをよりよく理解するために研究を行う。
我々は、評価の変動を説明する変数として、同意性と外向性に焦点を当てる。
論文 参考訳(メタデータ) (2022-06-01T00:45:32Z) - What is wrong with you?: Leveraging User Sentiment for Automatic Dialog
Evaluation [73.03318027164605]
本稿では,次のユーザの発話から自動的に抽出できる情報をプロキシとして利用して,前のシステム応答の質を測定することを提案する。
本モデルは,実際のユーザおよび有償ユーザから収集した音声と書面の両方のオープンドメインダイアログコーパスを一般化する。
論文 参考訳(メタデータ) (2022-03-25T22:09:52Z) - A Deep Learning Approach to Integrate Human-Level Understanding in a
Chatbot [0.4632366780742501]
人間とは異なり、チャットボットは一度に複数の顧客にサービスを提供し、24/7で提供され、1秒以内で返信できる。
深層学習を用いて感情分析,感情検出,意図分類,名義認識を行い,人文的理解と知性を備えたチャットボットを開発した。
論文 参考訳(メタデータ) (2021-12-31T22:26:41Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳(メタデータ) (2021-03-30T15:24:37Z) - Pchatbot: A Large-Scale Dataset for Personalized Chatbot [49.16746174238548]
本稿では,Weibo と Judicial のフォーラムから収集した2つのサブセットを含む大規模対話データセットである Pchatbot を紹介する。
生データセットを対話システムに適応させるため、匿名化などのプロセスを通じて生データセットを精巧に正規化する。
Pchatbotのスケールは、既存の中国のデータセットよりも大幅に大きく、データ駆動モデルの恩恵を受ける可能性がある。
論文 参考訳(メタデータ) (2020-09-28T12:49:07Z) - Beyond User Self-Reported Likert Scale Ratings: A Comparison Model for
Automatic Dialog Evaluation [69.03658685761538]
オープンドメインダイアログシステム評価はダイアログ研究における最も重要な課題の1つである。
本稿では,自動評価モデルCMADEを提案する。
実験の結果,対話比較作業においてCMADEの精度は89.2%であった。
論文 参考訳(メタデータ) (2020-05-21T15:14:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。