論文の概要: Chitchat as Interference: Adding User Backstories to Task-Oriented Dialogues
- arxiv url: http://arxiv.org/abs/2402.15248v3
- Date: Fri, 28 Jun 2024 10:27:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 21:34:45.987661
- Title: Chitchat as Interference: Adding User Backstories to Task-Oriented Dialogues
- Title（参考訳）: Chitchat as Interference:タスク指向対話にユーザバックストリーを追加する
- Authors: Armand Stricker, Patrick Paroubek,
- Abstract要約: Llama-2-70Bを用いて,ユーザバックストリーによるMultiWOZデータセットの強化を行う。
私たちは2つのモデルをテストします。1つはTODのみを訓練し、もう1つはTODを予備的な整合相互作用で訓練しました。
我々のデータセットは、トレーニング目的に効果的に使用することができ、システムはユーザーの背景を一貫して認識することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: During task-oriented dialogues (TODs), human users naturally introduce chitchat that is beyond the immediate scope of the task, interfering with the flow of the conversation. To address this issue without the need for expensive manual data creation, we use few-shot prompting with Llama-2-70B to enhance the MultiWOZ dataset with user backstories, a typical example of chitchat interference in TODs. We assess the impact of this addition by testing two models: one trained solely on TODs and another trained on TODs with a preliminary chitchat interaction. Our analysis demonstrates that our enhanced dataset poses a challenge for these systems. Moreover, we demonstrate that our dataset can be effectively used for training purposes, enabling a system to consistently acknowledge the user's backstory while also successfully moving the task forward in the same turn, as confirmed by human evaluation. These findings highlight the benefits of generating novel chitchat-TOD scenarios to test TOD systems more thoroughly and improve their resilience to natural user interferences
- Abstract（参考訳）: タスク指向対話(TOD)において、人間のユーザは、会話の流れに干渉して、タスクの即時範囲を超えているchitchatを自然に導入する。
この問題を解決するために、高価な手動データ作成を必要とせずに、Llama-2-70Bを使って、TODにおけるchitchat干渉の典型的な例であるユーザバックストリーによるMultiWOZデータセットを強化する。
この追加が与える影響を、2つのモデルで評価する。1つはTODで、もう1つはTODで、もう1つは事前のchitchatインタラクションで、TODで訓練された。
我々の分析は、拡張データセットがこれらのシステムに課題をもたらすことを示している。
さらに,我々のデータセットをトレーニング目的で効果的に活用できることを実証し,人間の評価によって確認されたように,システムがユーザの背景を一貫して認識しつつ,タスクを同じ方向に前進させることに成功した。
これらの知見は、TODシステムをより徹底的にテストし、自然なユーザ干渉に対するレジリエンスを向上させるために、新しいchitchat-TODシナリオを生成する利点を浮き彫りにした。
関連論文リスト
- CAUSE: Counterfactual Assessment of User Satisfaction Estimation in Task-Oriented Dialogue Systems [60.27663010453209]
我々は,大規模言語モデル(LLM)を利用して,満足度を考慮した対実対話を生成する。
生成されたサンプルの信頼性を確保するために、人間のアノテーションを収集します。
この結果から,TODシステムにおけるユーザ満足度推定のためのデータ拡張手法の必要性が明らかになった。
論文 参考訳（メタデータ） (2024-03-27T23:45:31Z) - Learning from Emotions, Demographic Information and Implicit User
Feedback in Task-Oriented Document-Grounded Dialogues [59.516187851808375]
FEDIは、人口統計情報、ユーザ感情、暗黙のフィードバックを付加したタスク指向文書地上対話のための最初の英語対話データセットである。
FLAN-T5, GPT-2, LLaMA-2 を用いて行った実験から,これらのデータにより,タスク完了と実際の応答の整合性,ユーザの受容性が改善される可能性が示唆された。
論文 参考訳（メタデータ） (2024-01-17T14:52:26Z) - From Chatter to Matter: Addressing Critical Steps of Emotion Recognition
Learning in Task-oriented Dialogue [6.918298428336528]
本稿では,チャット型ERCモデルをタスク指向モデルに変換するフレームワークを提案する。
ユーザの目標からの重要な情報を組み込むために,対話状態が補助機能として使用される。
本フレームワークは,EmoWOZ上でのチップチャットERCモデルの大幅な改善を実現する。
論文 参考訳（メタデータ） (2023-08-24T08:46:30Z) - Revealing User Familiarity Bias in Task-Oriented Dialogue via Interactive Evaluation [17.41434948048325]
我々は,現実的なシナリオに対して,TODシステムがいかに脆弱であるかを明らかにするために,インタラクティブなユーザスタディを実施している。
我々の研究は、オープンゴール設定での会話がシステムの破滅的な失敗につながることを明らかにした。
我々は,システムの能力を超えても,システムがユーザの要求を処理するふりをする,新たな“予測”行動を発見した。
論文 参考訳（メタデータ） (2023-05-23T09:24:53Z) - Is MultiWOZ a Solved Task? An Interactive TOD Evaluation Framework with
User Simulator [37.590563896382456]
タスク指向対話(TOD)システムのための対話型評価フレームワークを提案する。
まず,事前学習したモデルに基づいて目標指向のユーザシミュレータを構築し,ユーザシミュレータを用いて対話システムと対話して対話を生成する。
実験の結果,提案したユーザシミュレータによりトレーニングされたRLベースのTODシステムは,約98%のインフォメーションと成功率を達成することができた。
論文 参考訳（メタデータ） (2022-10-26T07:41:32Z) - MCP: Self-supervised Pre-training for Personalized Chatbots with
Multi-level Contrastive Sampling [18.40883902610959]
個人化されたチャットボットのための対話履歴からより良い表現を抽出するための自己教師型学習フレームワークを提案する。
具体的には、ユーザダイアログ履歴に隠された教師付き信号を利用するために、対照的なサンプリング手法を適用する。
2つの実世界のデータセットに対する実験結果から,提案したモデルMPPは既存手法と比較して大幅に改善された。
論文 参考訳（メタデータ） (2022-10-17T05:16:23Z) - Information Extraction and Human-Robot Dialogue towards Real-life Tasks:
A Baseline Study with the MobileCS Dataset [52.22314870976088]
SereTODチャレンジは、実際のユーザとChina Mobileのカスタマーサービススタッフの実際のダイアログ書き起こしで構成されるMobileCSデータセットを編成してリリースする。
MobileCSデータセットに基づいて、SereTODチャレンジには2つのタスクがあり、対話システム自体の構築を評価するだけでなく、ダイアログの書き起こしからの情報も抽出する。
本稿では主に,MobileCSデータセットを用いた2つのタスクのベースラインスタディを示す。
論文 参考訳（メタデータ） (2022-09-27T15:30:43Z) - Interactive Evaluation of Dialog Track at DSTC9 [8.2208199207543]
第9回ダイアログ・システム・テクノロジー・チャレンジで対話的ダイアログ・トラックの評価が導入された。
本稿では,方法論と結果を含むトラックの概要について述べる。
論文 参考訳（メタデータ） (2022-07-28T22:54:04Z) - Duplex Conversation: Towards Human-like Interaction in Spoken Dialogue
System [120.70726465994781]
マルチモーダル音声対話システムにより、電話ベースのエージェントが、人間のような顧客と対話できる。
製品で学んだ教訓を共有するために、Conversation Duplex Alibabaのインテリジェントなカスタマサービスをデプロイしています。
オンラインA/B実験は,提案システムにおいて応答遅延を50%低減できることを示した。
論文 参考訳（メタデータ） (2022-05-30T12:41:23Z) - KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。
本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
論文 参考訳（メタデータ） (2022-05-11T16:01:03Z) - User Satisfaction Estimation with Sequential Dialogue Act Modeling in
Goal-oriented Conversational Systems [65.88679683468143]
我々は,ユーザ満足度を予測するために,対話行動の逐次的ダイナミクスを取り入れた新しいフレームワーク,すなわちUSDAを提案する。
USDAは、ユーザの満足度を予測するために、コンテンツと行動機能の連続的な遷移を対話に取り入れている。
4つのベンチマーク目標指向対話データセットによる実験結果から,提案手法はUSEの既存手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-02-07T02:50:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。