論文の概要: Enhancing Large Language Model Induced Task-Oriented Dialogue Systems
Through Look-Forward Motivated Goals
- arxiv url: http://arxiv.org/abs/2309.08949v1
- Date: Sat, 16 Sep 2023 10:56:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 18:24:34.801682
- Title: Enhancing Large Language Model Induced Task-Oriented Dialogue Systems
Through Look-Forward Motivated Goals
- Title（参考訳）: ルックフォワードモチベーション目標による大規模言語モデルによるタスク指向対話システムの拡張
- Authors: Zhiyuan Hu, Yue Feng, Yang Deng, Zekun Li, See-Kiong Ng, Anh Tuan Luu,
Bryan Hooi
- Abstract要約: ProToDアプローチは、将来の対話行動を予測し、ToDシステムを強化するためにゴール指向の報酬シグナルを組み込む。
本稿では,目標駆動型対話シミュレーションに基づくToDシステム評価手法を提案する。
また,MultiWoZ 2.1データセットを用いた実験により,データの10%しか利用せず,優れた性能が得られることを示した。
- 参考スコア（独自算出の注目度）: 76.69419538047813
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, the development of large language models (LLMs) has been
significantly enhanced the question answering and dialogue generation, and
makes them become increasingly popular in current practical scenarios. While
unlike the general dialogue system which emphasizes the semantic performance,
the task-oriented dialogue (ToD) systems aim to achieve the dialogue goal
efficiently and successfully in multiple turns. Unfortunately, existing
LLM-induced ToD systems lack the direct reward toward the final goal and do not
take account of the dialogue proactivity that can strengthen the dialogue
efficiency. To fill these gaps, we introduce the ProToD (Proactively
Goal-Driven LLM-Induced ToD) approach, which anticipates the future dialogue
actions and incorporates the goal-oriented reward signal to enhance ToD
systems. Additionally, we present a novel evaluation method that assesses ToD
systems based on goal-driven dialogue simulations. This method allows us to
gauge user satisfaction, system efficiency and successful rate while overcoming
the limitations of current Information and Success metrics. Empirical
experiments conducted on the MultiWoZ 2.1 dataset demonstrate that our model
can achieve superior performance using only 10% of the data compared to
previous end-to-end fully supervised models. This improvement is accompanied by
enhanced user satisfaction and efficiency.
- Abstract（参考訳）: 近年,大規模言語モデル(llms)の開発により,質問応答や対話生成が大幅に向上し,現在の実用シナリオで人気が高まっている。
意味的性能を重視した一般的な対話システムとは異なり、タスク指向対話(tod)システムは、対話目標を複数回で効率的に達成することを目的としている。
残念ながら、既存のLLMによるToDシステムには最終目標に対する直接的な報酬がなく、対話効率を向上できる対話能率を考慮していない。
これらのギャップを埋めるために,今後の対話行動を予測し,目標指向の報酬シグナルを組み込んでtodシステムを強化するprotod (proactively goal-driven llm-induced tod) アプローチを導入する。
さらに,目標駆動型対話シミュレーションに基づいてToDシステムを評価する新しい評価手法を提案する。
本手法により,現在の情報・成功指標の限界を克服しつつ,ユーザの満足度,システム効率,成功率を測定することができる。
multiwoz 2.1データセットで行った実証実験では、従来のエンドツーエンドの完全な教師付きモデルと比較して、データのわずか10%で優れた性能を達成できることが示されている。
この改善には、ユーザの満足度と効率の向上が伴う。
関連論文リスト
- Learning from Relevant Subgoals in Successful Dialogs using Iterative Training for Task-oriented Dialog Systems [6.226609932118126]
タスク指向ダイアログ(ToD)システムは、ユーザ目標を達成するために複数のサブゴールを解決しなければならないが、フィードバックはダイアログの最後にのみ取得されることが多い。
ToDシステムを改善するための反復的トレーニング手法であるSuIT(subgoal-aware ITerative Training)を提案する。
論文 参考訳（メタデータ） (2024-11-25T11:47:31Z) - Improving Multi-Domain Task-Oriented Dialogue System with Offline Reinforcement Learning [5.18578230548982]
タスク指向対話(TOD)システムは、対話を通じてユーザ定義タスクを達成するように設計されている。
本稿では,統合事前学習型言語モデルであるGPT2をベースモデルとして利用するTODシステムを提案する。
本モデルでは, ベースラインと比較して情報提供率を1.60%, 成功率を3.17%向上させる。
論文 参考訳（メタデータ） (2024-11-08T05:43:40Z) - User Simulation with Large Language Models for Evaluating Task-Oriented
Dialogue [10.336443286833145]
本稿では,最近開発された大規模事前学習言語モデル(LLM)を用いた新しいユーザシミュレータを提案する。
シミュレーション性能の主指標としてゴール成功率(GSR)を最大化しようとする従来の研究とは異なり,本研究の目的は,TODシステムとのヒューマンインタラクションで観測されるようなGSRを実現するシステムである。
論文 参考訳（メタデータ） (2023-09-23T02:04:57Z) - Self-Explanation Prompting Improves Dialogue Understanding in Large
Language Models [52.24756457516834]
大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。
このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。
6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
論文 参考訳（メタデータ） (2023-09-22T15:41:34Z) - Unlocking the Potential of User Feedback: Leveraging Large Language
Model as User Simulator to Enhance Dialogue System [65.93577256431125]
本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。
このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。
提案手法は従来のSOTA(State-of-the-art)よりも優れている。
論文 参考訳（メタデータ） (2023-06-16T13:04:56Z) - Discovering Customer-Service Dialog System with Semi-Supervised Learning
and Coarse-to-Fine Intent Detection [6.869753194843482]
タスク指向ダイアログは,マルチターン会話による特定の目標達成を支援することを目的としている。
教師/学生のパラダイムに基づいた弱教師付きデータセットを構築した。
また,ユーザ意図を検出するために,モジュール型対話システムと粗粒度分類を統合した。
論文 参考訳（メタデータ） (2022-12-23T14:36:43Z) - User Satisfaction Estimation with Sequential Dialogue Act Modeling in
Goal-oriented Conversational Systems [65.88679683468143]
我々は,ユーザ満足度を予測するために,対話行動の逐次的ダイナミクスを取り入れた新しいフレームワーク,すなわちUSDAを提案する。
USDAは、ユーザの満足度を予測するために、コンテンツと行動機能の連続的な遷移を対話に取り入れている。
4つのベンチマーク目標指向対話データセットによる実験結果から,提案手法はUSEの既存手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-02-07T02:50:07Z) - Modelling Hierarchical Structure between Dialogue Policy and Natural
Language Generator with Option Framework for Task-oriented Dialogue System [49.39150449455407]
HDNOは、特定の対話行為表現の設計を避けるために潜在対話行為を設計するためのオプションフレームワークである。
RL,LaRL,HDSAで学習した単語レベルE2Eモデルと比較して,マルチドメイン対話のデータセットであるMultiWoz 2.0とMultiWoz 2.1でHDNOをテストする。
論文 参考訳（メタデータ） (2020-06-11T20:55:28Z) - Modeling Long Context for Task-Oriented Dialogue State Generation [51.044300192906995]
本稿では,シンプルで効果的な発話タグ付け手法と双方向言語モデルを用いたマルチタスク学習モデルを提案する。
提案手法は,入力対話コンテキストシーケンスが長い場合に,ベースラインの性能が著しく低下する,という問題を解決する。
本実験では,MultiWOZ 2.0データセットにおいて,ベースラインに対して7.03%の相対的改善を実現し,新しい最先端のジョイントゴール精度を52.04%に設定した。
論文 参考訳（メタデータ） (2020-04-29T11:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。