論文の概要: Modeling User Satisfaction Dynamics in Dialogue via Hawkes Process

• arxiv url: http://arxiv.org/abs/2305.12594v1
• Date: Sun, 21 May 2023 23:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 19:13:38.646059
• Title: Modeling User Satisfaction Dynamics in Dialogue via Hawkes Process
• Title（参考訳）: ホークスプロセスによる対話におけるユーザ満足度ダイナミクスのモデル化
• Authors: Fanghua Ye, Zhiyuan Hu, Emine Yilmaz
• Abstract要約: 本稿では,ターン間のユーザ満足度をイベントシーケンスとして扱う新しい推定器を提案し,このシーケンスのダイナミクスを効果的にモデル化するためにホークスプロセスを用いる。 4つのベンチマーク対話データセットによる実験結果から、ASAPは最先端のベースライン推定器を大幅に上回ることを示した。
• 参考スコア（独自算出の注目度）: 17.477718698071424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dialogue systems have received increasing attention while automatically evaluating their performance remains challenging. User satisfaction estimation (USE) has been proposed as an alternative. It assumes that the performance of a dialogue system can be measured by user satisfaction and uses an estimator to simulate users. The effectiveness of USE depends heavily on the estimator. Existing estimators independently predict user satisfaction at each turn and ignore satisfaction dynamics across turns within a dialogue. In order to fully simulate users, it is crucial to take satisfaction dynamics into account. To fill this gap, we propose a new estimator ASAP (sAtisfaction eStimation via HAwkes Process) that treats user satisfaction across turns as an event sequence and employs a Hawkes process to effectively model the dynamics in this sequence. Experimental results on four benchmark dialogue datasets demonstrate that ASAP can substantially outperform state-of-the-art baseline estimators.
• Abstract（参考訳）: 対話システムは、パフォーマンスを自動評価しながら、注目を集めている。 代替案としてユーザ満足度推定(USE)が提案されている。 対話システムの性能はユーザの満足度によって測定できると仮定し,ユーザをシミュレートするために推定器を使用する。 USEの有効性は推定器に大きく依存する。 既存の推定器は各ターンでのユーザ満足度を独立に予測し、対話内のターン間の満足度ダイナミクスを無視する。 ユーザを完全にシミュレートするには,満足度を考慮に入れることが重要です。 このギャップを埋めるために,ターン間のユーザ満足度をイベントシーケンスとして扱う新たな推定器ASAP(sAtisfaction eStimation via HAwkes Process)を提案する。 4つのベンチマーク対話データセットによる実験結果から、ASAPは最先端のベースライン推定器を大幅に上回ることを示した。

関連論文リスト

• Simulating User Agents for Embodied Conversational-AI [9.402740034754455]
  我々は,エンボディエージェントとのインタラクション中にユーザ動作をシミュレート可能な,LLMベースのユーザエージェントを構築した。 シミュレーション対話をTEAChデータセットと比較することにより,ユーザエージェントの人間的行動生成能力を評価する。
  論文  参考訳（メタデータ） (2024-10-31T00:56:08Z)
• CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
  我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。 生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。 この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
  論文  参考訳（メタデータ） (2024-03-27T23:45:31Z)
• Reliable LLM-based User Simulator for Task-Oriented Dialogue Systems [2.788542465279969]
  本稿では,ドメイン対応ユーザシミュレータDAUSを紹介する。 タスク指向対話の実例について,DAUSを微調整する。 2つの関連するベンチマークの結果は、ユーザ目標達成の点で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-02-20T20:57:47Z)
• Enhancing Large Language Model Induced Task-Oriented Dialogue Systems Through Look-Forward Motivated Goals [76.69419538047813]
  ProToDアプローチは、将来の対話行動を予測し、ToDシステムを強化するためにゴール指向の報酬シグナルを組み込む。 本稿では,目標駆動型対話シミュレーションに基づくToDシステム評価手法を提案する。 また,MultiWoZ 2.1データセットを用いた実験により,データの10%しか利用せず,優れた性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-09-16T10:56:00Z)
• Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
  本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。 このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。 提案手法は従来のSOTA(State-of-the-art)よりも優れている。
  論文  参考訳（メタデータ） (2023-06-16T13:04:56Z)
• Is MultiWOZ a Solved Task? An Interactive TOD Evaluation Framework with User Simulator [37.590563896382456]
  タスク指向対話(TOD)システムのための対話型評価フレームワークを提案する。 まず,事前学習したモデルに基づいて目標指向のユーザシミュレータを構築し,ユーザシミュレータを用いて対話システムと対話して対話を生成する。 実験の結果,提案したユーザシミュレータによりトレーニングされたRLベースのTODシステムは,約98%のインフォメーションと成功率を達成することができた。
  論文  参考訳（メタデータ） (2022-10-26T07:41:32Z)
• User Satisfaction Estimation with Sequential Dialogue Act Modeling in Goal-oriented Conversational Systems [65.88679683468143]
  我々は,ユーザ満足度を予測するために,対話行動の逐次的ダイナミクスを取り入れた新しいフレームワーク,すなわちUSDAを提案する。 USDAは、ユーザの満足度を予測するために、コンテンツと行動機能の連続的な遷移を対話に取り入れている。 4つのベンチマーク目標指向対話データセットによる実験結果から,提案手法はUSEの既存手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-02-07T02:50:07Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Optimizing Interactive Systems via Data-Driven Objectives [70.3578528542663]
  本稿では,観察されたユーザインタラクションから直接目的を推測する手法を提案する。 これらの推論は、事前の知識によらず、様々な種類のユーザー行動にまたがって行われる。 本稿では,これらの推定対象を最適化するために利用する新しいアルゴリズムであるInteractive System(ISO)を紹介する。
  論文  参考訳（メタデータ） (2020-06-19T20:49:14Z)
• Improving Interaction Quality Estimation with BiLSTMs and the Impact on Dialogue Policy Learning [0.6538911223040175]
  本稿では,ユーザ満足度推定に基づく新たな報酬を提案する。 時間的依存を暗黙的に学習しながら、過去の推定値よりも優れていることを示す。 このモデルを適用すると、推定された満足度が高く、タスクの成功率に類似し、ノイズに対するロバスト性が高いことが示される。
  論文  参考訳（メタデータ） (2020-01-21T15:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。