論文の概要: Schema-Guided User Satisfaction Modeling for Task-Oriented Dialogues
- arxiv url: http://arxiv.org/abs/2305.16798v1
- Date: Fri, 26 May 2023 10:19:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 15:53:35.304986
- Title: Schema-Guided User Satisfaction Modeling for Task-Oriented Dialogues
- Title(参考訳): タスク指向対話のためのスキーマガイド型ユーザ満足度モデリング
- Authors: Yue Feng, Yunlong Jiao, Animesh Prasad, Nikolaos Aletras, Emine
Yilmaz, Gabriella Kazai
- Abstract要約: 本稿では,スキーマ誘導型ユーザ満足度モデリングフレームワークであるSG-USMを提案する。
タスク属性に関するユーザの嗜好が、ユーザの満足度を予測するシステムによって達成される程度を明示的にモデル化する。
- 参考スコア(独自算出の注目度): 38.251046341024455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: User Satisfaction Modeling (USM) is one of the popular choices for
task-oriented dialogue systems evaluation, where user satisfaction typically
depends on whether the user's task goals were fulfilled by the system.
Task-oriented dialogue systems use task schema, which is a set of task
attributes, to encode the user's task goals. Existing studies on USM neglect
explicitly modeling the user's task goals fulfillment using the task schema. In
this paper, we propose SG-USM, a novel schema-guided user satisfaction modeling
framework. It explicitly models the degree to which the user's preferences
regarding the task attributes are fulfilled by the system for predicting the
user's satisfaction level. SG-USM employs a pre-trained language model for
encoding dialogue context and task attributes. Further, it employs a
fulfillment representation layer for learning how many task attributes have
been fulfilled in the dialogue, an importance predictor component for
calculating the importance of task attributes. Finally, it predicts the user
satisfaction based on task attribute fulfillment and task attribute importance.
Experimental results on benchmark datasets (i.e. MWOZ, SGD, ReDial, and JDDC)
show that SG-USM consistently outperforms competitive existing methods. Our
extensive analysis demonstrates that SG-USM can improve the interpretability of
user satisfaction modeling, has good scalability as it can effectively deal
with unseen tasks and can also effectively work in low-resource settings by
leveraging unlabeled data.
- Abstract(参考訳): ユーザ満足度モデリング(usm)は、タスク指向対話システムの評価において一般的な選択肢の1つであり、ユーザの満足度は通常、ユーザのタスク目標がシステムによって達成されたかどうかに依存する。
タスク指向対話システムは、タスク属性のセットであるタスクスキーマを使用して、ユーザのタスク目標をエンコードする。
USMの既存の研究は、タスクスキーマを使用してユーザのタスク目標達成を明示的にモデル化することを無視している。
本稿では,スキーマ誘導型ユーザ満足度モデリングフレームワークsg-usmを提案する。
タスク属性に関するユーザの嗜好が、ユーザの満足度を予測するシステムによって達成される程度を明示的にモデル化する。
SG-USMは、対話コンテキストとタスク属性を符号化するために、事前訓練された言語モデルを使用する。
さらに、対話でどれだけのタスク属性が達成されたかを知るためのフルフィルメント表現層、タスク属性の重要性を計算するための重要予測子コンポーネントも採用している。
最後に,タスク属性の満足度とタスク属性の重要性に基づいてユーザの満足度を予測する。
ベンチマークデータセット(MWOZ、SGD、ReDial、JDDC)の実験結果は、SG-USMが競争力のある既存の手法より一貫して優れていることを示している。
我々は,SG-USMがユーザ満足度モデリングの解釈可能性の向上を図り,未知のタスクを効果的に扱えるとともに,ラベルのないデータを活用することで,低リソース環境でも効果的に機能できることを実証した。
関連論文リスト
- CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。
生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。
この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
論文 参考訳(メタデータ) (2024-03-27T23:45:31Z) - Tell Me More! Towards Implicit User Intention Understanding of Language
Model Driven Agents [110.25679611755962]
現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。
Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。
私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
論文 参考訳(メタデータ) (2024-02-14T14:36:30Z) - TaskBench: Benchmarking Large Language Models for Task Automation [85.3879908356586]
タスク自動化における大規模言語モデルの能力を評価するためにTaskBenchを導入します。
高品質な評価データセットを生成するために,ツールグラフの概念を導入する。
また,タスク分解,ツールの実行,パラメータ予測など,さまざまな側面からLCMの能力を評価するためのTaskEvalを提案する。
論文 参考訳(メタデータ) (2023-11-30T18:02:44Z) - Task Relation-aware Continual User Representation Learning [26.514449669395297]
ユーザモデリングにおけるこれまでの取り組みは、主に1つのタスク用に設計されたタスク固有のユーザ表現の学習に焦点を当てていた。
近年の研究では、様々なタスクに関連するユーザのより一般化された表現であるユニバーサルユーザ表現の概念が紹介されている。
その効果にもかかわらず、普遍的なユーザ表現を学習するための既存のアプローチは、現実世界のアプリケーションでは実用的ではない。
本稿では,学習タスク数が増加するにつれて,学習能力が制限されない,TERACONと呼ばれる新しい連続的ユーザ表現学習手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T08:10:03Z) - Meta-Reinforcement Learning Based on Self-Supervised Task Representation
Learning [23.45043290237396]
MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。
MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
論文 参考訳(メタデータ) (2023-04-29T15:46:19Z) - Task Aware Dreamer for Task Generalization in Reinforcement Learning [32.93706056123124]
一般的な世界モデルのトレーニングは、タスクにおいて同様の構造を活用でき、より一般化可能なエージェントのトレーニングに役立つことを示す。
本稿では,タスク間の遅延特性を識別するために,報酬インフォームド機能を統合するタスク・アウェア・ドリーマー (TAD) という新しい手法を提案する。
画像ベースのタスクと状態ベースのタスクの両方の実験は、TADが異なるタスクを同時に処理するパフォーマンスを大幅に改善できることを示している。
論文 参考訳(メタデータ) (2023-03-09T08:04:16Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳(メタデータ) (2021-04-28T16:45:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。