論文の概要: Revealing User Familiarity Bias in Task-Oriented Dialogue via
Interactive Evaluation
- arxiv url: http://arxiv.org/abs/2305.13857v1
- Date: Tue, 23 May 2023 09:24:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 17:25:58.620672
- Title: Revealing User Familiarity Bias in Task-Oriented Dialogue via
Interactive Evaluation
- Title(参考訳): 対話的評価によるタスク指向対話におけるユーザ親和性バイアスの探索
- Authors: Takyoung Kim, Jamin Shin, Young-Ho Kim, Sanghwan Bae, Sungdong Kim
- Abstract要約: 我々は,現実的なシナリオに対して,TODシステムがいかに脆弱であるかを明らかにするために,インタラクティブなユーザスタディを実施している。
我々の研究は、オープンゴール設定での会話がシステムの破滅的な失敗につながることを明らかにした。
我々は,システムの能力を超えても,システムがユーザの要求を処理するふりをする,新たな“予測”行動を発見した。
- 参考スコア(独自算出の注目度): 8.96916785542554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most task-oriented dialogue (TOD) benchmarks assume users that know exactly
how to use the system by constraining the user behaviors within the system's
capabilities via strict user goals, namely "user familiarity" bias. This data
bias deepens when it combines with data-driven TOD systems, as it is impossible
to fathom the effect of it with existing static evaluations. Hence, we conduct
an interactive user study to unveil how vulnerable TOD systems are against
realistic scenarios. In particular, we compare users with 1) detailed goal
instructions that conform to the system boundaries (closed-goal) and 2) vague
goal instructions that are often unsupported but realistic (open-goal). Our
study reveals that conversations in open-goal settings lead to catastrophic
failures of the system, in which 92% of the dialogues had significant issues.
Moreover, we conduct a thorough analysis to identify distinctive features
between the two settings through error annotation. From this, we discover a
novel "pretending" behavior, in which the system pretends to handle the user
requests even though they are beyond the system's capabilities. We discuss its
characteristics and toxicity while emphasizing transparency and a fallback
strategy for robust TOD systems.
- Abstract(参考訳): ほとんどのタスク指向対話(TOD)ベンチマークでは、システムの機能内でのユーザ動作を厳格なユーザ目標、すなわち"ユーザ親しみ"バイアスによって制限することで、システムの使用方法を正確に知るユーザを前提としている。
このデータバイアスは、データ駆動のtodシステムと組み合わせると深くなり、既存の静的評価とデータの影響を相殺することは不可能である。
そこで本研究では,現実シナリオに対するTODシステムの脆弱性を明らかにするために,インタラクティブなユーザスタディを実施している。
特にユーザとユーザを比較します
1)システムの境界(閉じたゴール)に適合する詳細な目標指示
2) しばしばサポートされないが現実的な(オープンゴール)曖昧な目標指示。
本研究は,対話の92%が重大な問題を抱えたシステムにおいて,オープンゴール環境での会話が壊滅的な失敗に繋がることを明らかにした。
さらに,エラーアノテーションによる2つの設定間の特徴を特定するために,徹底的な解析を行う。
このことから,システムの機能を超えても,システムがユーザの要求を処理するように振る舞う,新たな“予測”行動が発見された。
todシステムの透明性とフォールバック戦略を強調しながら,その特性と毒性について考察する。
関連論文リスト
- Reliable LLM-based User Simulator for Task-Oriented Dialogue Systems [2.788542465279969]
本稿では,ドメイン対応ユーザシミュレータDAUSを紹介する。
タスク指向対話の実例について,DAUSを微調整する。
2つの関連するベンチマークの結果は、ユーザ目標達成の点で大幅に改善されている。
論文 参考訳(メタデータ) (2024-02-20T20:57:47Z) - Interactive System-wise Anomaly Detection [66.3766756452743]
異常検出は様々なアプリケーションにおいて基本的な役割を果たす。
既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。
システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
論文 参考訳(メタデータ) (2023-04-21T02:20:24Z) - A Transformer-Based User Satisfaction Prediction for Proactive
Interaction Mechanism in DuerOS [12.060990859604681]
そこで本研究では,ユーザに対して提示する前に,ユーザの満足度とユーザの反応を予測できる能動的インタラクション機構を提案する。
ユーザが予測に応じて満足できない場合、システムはユーザの本当の意図を決定するのに適した質問をユーザに尋ねる。
当社のモデルをDuerOS上に展開・評価し,ユーザ満足度予測の精度に対する19%の相対的改善と,ユーザエクスペリエンスに対する2.3%の相対的改善を観察した。
論文 参考訳(メタデータ) (2022-12-05T09:17:49Z) - Interactive Evaluation of Dialog Track at DSTC9 [8.2208199207543]
第9回ダイアログ・システム・テクノロジー・チャレンジで対話的ダイアログ・トラックの評価が導入された。
本稿では,方法論と結果を含むトラックの概要について述べる。
論文 参考訳(メタデータ) (2022-07-28T22:54:04Z) - User Satisfaction Estimation with Sequential Dialogue Act Modeling in
Goal-oriented Conversational Systems [65.88679683468143]
我々は,ユーザ満足度を予測するために,対話行動の逐次的ダイナミクスを取り入れた新しいフレームワーク,すなわちUSDAを提案する。
USDAは、ユーザの満足度を予測するために、コンテンツと行動機能の連続的な遷移を対話に取り入れている。
4つのベンチマーク目標指向対話データセットによる実験結果から,提案手法はUSEの既存手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-02-07T02:50:07Z) - Advances and Challenges in Conversational Recommender Systems: A Survey [133.93908165922804]
現在の会話レコメンダーシステム(CRS)で使用されるテクニックの体系的なレビューを提供します。
CRS開発の主な課題を5つの方向にまとめます。
これらの研究の方向性は、情報検索(IR)、自然言語処理(NLP)、人間とコンピュータの相互作用(HCI)などの複数の研究分野を含みます。
論文 参考訳(メタデータ) (2021-01-23T08:53:15Z) - NUANCED: Natural Utterance Annotation for Nuanced Conversation with
Estimated Distributions [36.00476428803116]
本研究では,ユーザ中心の対話システムの構築を試みる。
まず,ユーザの好みをシステムオントロジー上の推定分布としてモデル化し,ユーザの発話をそのような分布にマッピングする。
我々は、会話レコメンデーションのための現実的な設定に焦点を当てたNUANCEDという新しいデータセットを構築した。
論文 参考訳(メタデータ) (2020-10-24T03:23:14Z) - Optimizing Interactive Systems via Data-Driven Objectives [70.3578528542663]
本稿では,観察されたユーザインタラクションから直接目的を推測する手法を提案する。
これらの推論は、事前の知識によらず、様々な種類のユーザー行動にまたがって行われる。
本稿では,これらの推定対象を最適化するために利用する新しいアルゴリズムであるInteractive System(ISO)を紹介する。
論文 参考訳(メタデータ) (2020-06-19T20:49:14Z) - Is Your Goal-Oriented Dialog Model Performing Really Well? Empirical
Analysis of System-wise Evaluation [114.48767388174218]
本稿では,異なる設定の異なるモジュールから構成される異なるダイアログシステムについて,実験的検討を行った。
この結果から, 粗粒度ラベルで学習した連系や終端モデルを用いたシステムよりも, 細粒度監視信号を用いて訓練したパイプラインダイアログシステムの方が, 高い性能が得られることが示唆された。
論文 参考訳(メタデータ) (2020-05-15T05:20:06Z) - A Neural Topical Expansion Framework for Unstructured Persona-oriented
Dialogue Generation [52.743311026230714]
Persona Exploration and Exploitation (PEE)は、事前に定義されたユーザペルソナ記述を意味論的に相関したコンテンツで拡張することができる。
PEEはペルソナ探索とペルソナ搾取という2つの主要なモジュールで構成されている。
提案手法は, 自動評価と人的評価の両面で, 最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2020-02-06T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。