論文の概要: Schema-Guided User Satisfaction Modeling for Task-Oriented Dialogues
- arxiv url: http://arxiv.org/abs/2305.16798v1
- Date: Fri, 26 May 2023 10:19:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 15:53:35.304986
- Title: Schema-Guided User Satisfaction Modeling for Task-Oriented Dialogues
- Title（参考訳）: タスク指向対話のためのスキーマガイド型ユーザ満足度モデリング
- Authors: Yue Feng, Yunlong Jiao, Animesh Prasad, Nikolaos Aletras, Emine
Yilmaz, Gabriella Kazai
- Abstract要約: 本稿では,スキーマ誘導型ユーザ満足度モデリングフレームワークであるSG-USMを提案する。
タスク属性に関するユーザの嗜好が、ユーザの満足度を予測するシステムによって達成される程度を明示的にモデル化する。
- 参考スコア（独自算出の注目度）: 38.251046341024455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: User Satisfaction Modeling (USM) is one of the popular choices for
task-oriented dialogue systems evaluation, where user satisfaction typically
depends on whether the user's task goals were fulfilled by the system.
Task-oriented dialogue systems use task schema, which is a set of task
attributes, to encode the user's task goals. Existing studies on USM neglect
explicitly modeling the user's task goals fulfillment using the task schema. In
this paper, we propose SG-USM, a novel schema-guided user satisfaction modeling
framework. It explicitly models the degree to which the user's preferences
regarding the task attributes are fulfilled by the system for predicting the
user's satisfaction level. SG-USM employs a pre-trained language model for
encoding dialogue context and task attributes. Further, it employs a
fulfillment representation layer for learning how many task attributes have
been fulfilled in the dialogue, an importance predictor component for
calculating the importance of task attributes. Finally, it predicts the user
satisfaction based on task attribute fulfillment and task attribute importance.
Experimental results on benchmark datasets (i.e. MWOZ, SGD, ReDial, and JDDC)
show that SG-USM consistently outperforms competitive existing methods. Our
extensive analysis demonstrates that SG-USM can improve the interpretability of
user satisfaction modeling, has good scalability as it can effectively deal
with unseen tasks and can also effectively work in low-resource settings by
leveraging unlabeled data.
- Abstract（参考訳）: ユーザ満足度モデリング(usm)は、タスク指向対話システムの評価において一般的な選択肢の1つであり、ユーザの満足度は通常、ユーザのタスク目標がシステムによって達成されたかどうかに依存する。
タスク指向対話システムは、タスク属性のセットであるタスクスキーマを使用して、ユーザのタスク目標をエンコードする。
USMの既存の研究は、タスクスキーマを使用してユーザのタスク目標達成を明示的にモデル化することを無視している。
本稿では,スキーマ誘導型ユーザ満足度モデリングフレームワークsg-usmを提案する。
タスク属性に関するユーザの嗜好が、ユーザの満足度を予測するシステムによって達成される程度を明示的にモデル化する。
SG-USMは、対話コンテキストとタスク属性を符号化するために、事前訓練された言語モデルを使用する。
さらに、対話でどれだけのタスク属性が達成されたかを知るためのフルフィルメント表現層、タスク属性の重要性を計算するための重要予測子コンポーネントも採用している。
最後に,タスク属性の満足度とタスク属性の重要性に基づいてユーザの満足度を予測する。
ベンチマークデータセット(MWOZ、SGD、ReDial、JDDC)の実験結果は、SG-USMが競争力のある既存の手法より一貫して優れていることを示している。
我々は,SG-USMがユーザ満足度モデリングの解釈可能性の向上を図り,未知のタスクを効果的に扱えるとともに,ラベルのないデータを活用することで,低リソース環境でも効果的に機能できることを実証した。
関連論文リスト
- Large Language Models as User-Agents for Evaluating Task-Oriented-Dialogue Systems [6.8738526619759535]
タスク指向対話(TOD)モデルを評価するために、オフラインデータセットが使用されている。
コンテキスト対応のユーザエージェントは、人間の会話の多様性と予測不能をシミュレートすることができる。
論文 参考訳（メタデータ） (2024-11-15T06:05:45Z) - AGENTiGraph: An Interactive Knowledge Graph Platform for LLM-based Chatbots Utilizing Private Data [14.328402787379538]
本稿では,自然言語インタラクションによる知識管理プラットフォームである AgentiGraph (タスクベースインタラクションとグラフィカル表現のための適応生成ENgine) を紹介する。
AgentiGraphはマルチエージェントアーキテクチャを使用して、ユーザの意図を動的に解釈し、タスクを管理し、新しい知識を統合する。
3,500のテストケースのデータセットの実験結果から、AgentiGraphは最先端のゼロショットベースラインを大幅に上回っている。
論文 参考訳（メタデータ） (2024-10-15T12:05:58Z) - A Speaker Turn-Aware Multi-Task Adversarial Network for Joint User Satisfaction Estimation and Sentiment Analysis [28.940337080659905]
対話レベルのユーザ満足度推定(USE)と感性分析(SA)のための話者ターン対応マルチタスク対応ネットワーク(STMAN)を提案する。
まず,タスク識別器を訓練して発話表現をよりタスク特化させるマルチタスク対向戦略を導入し,その上で,各タスクに相補的な共通特徴を抽出するために話者ターン認識型マルチタスクインタラクション戦略を利用する。
論文 参考訳（メタデータ） (2024-10-12T15:03:53Z) - Many Hands Make Light Work: Task-Oriented Dialogue System with Module-Based Mixture-of-Experts [9.129081545049992]
タスク指向対話システムは事前学習言語モデル(PLM)の恩恵を受けている
ソフト混合型タスク指向対話システム(SMETOD)を提案する。
SMETODは、Mixture-of-Experts(MoEs)のアンサンブルを利用してサブプロブレムを最適化し、タスク指向対話のための特殊な出力を生成する。
我々は,意図予測,対話状態追跡,対話応答生成という3つのベンチマーク機能に対して,我々のモデルを広範囲に評価した。
論文 参考訳（メタデータ） (2024-05-16T01:02:09Z) - CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。
生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。
この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
論文 参考訳（メタデータ） (2024-03-27T23:45:31Z) - Tell Me More! Towards Implicit User Intention Understanding of Language
Model Driven Agents [110.25679611755962]
現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。
Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。
私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
論文 参考訳（メタデータ） (2024-02-14T14:36:30Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳（メタデータ） (2023-11-30T18:02:44Z) - Task Relation-aware Continual User Representation Learning [26.514449669395297]
ユーザモデリングにおけるこれまでの取り組みは、主に1つのタスク用に設計されたタスク固有のユーザ表現の学習に焦点を当てていた。
近年の研究では、様々なタスクに関連するユーザのより一般化された表現であるユニバーサルユーザ表現の概念が紹介されている。
その効果にもかかわらず、普遍的なユーザ表現を学習するための既存のアプローチは、現実世界のアプリケーションでは実用的ではない。
本稿では,学習タスク数が増加するにつれて,学習能力が制限されない,TERACONと呼ばれる新しい連続的ユーザ表現学習手法を提案する。
論文 参考訳（メタデータ） (2023-06-01T08:10:03Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳（メタデータ） (2021-04-28T16:45:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。