論文の概要: Enhancing Dialogue State Tracking Models through LLM-backed User-Agents Simulation
- arxiv url: http://arxiv.org/abs/2405.13037v1
- Date: Fri, 17 May 2024 07:00:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-25 04:41:59.093390
- Title: Enhancing Dialogue State Tracking Models through LLM-backed User-Agents Simulation
- Title（参考訳）: LLM支援ユーザエージェントシミュレーションによる対話状態追跡モデルの強化
- Authors: Cheng Niu, Xingguang Wang, Xuxin Cheng, Juntong Song, Tong Zhang,
- Abstract要約: GPT-4はユーザとエージェントのインタラクションをシミュレートするために使用され、DSTラベルと数千の注釈付き対話を生成する。
生成されたデータとDST予測のための実データとに基づいて、LLaMA2の2段階微調整を行う。
我々のアプローチは、現実世界のシナリオにおける動的な要求に適応し、新しいドメインでの対話を迅速に生成することもできます。
- 参考スコア（独自算出の注目度）: 12.93942316816741
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dialogue State Tracking (DST) is designed to monitor the evolving dialogue state in the conversations and plays a pivotal role in developing task-oriented dialogue systems. However, obtaining the annotated data for the DST task is usually a costly endeavor. In this paper, we focus on employing LLMs to generate dialogue data to reduce dialogue collection and annotation costs. Specifically, GPT-4 is used to simulate the user and agent interaction, generating thousands of dialogues annotated with DST labels. Then a two-stage fine-tuning on LLaMA 2 is performed on the generated data and the real data for the DST prediction. Experimental results on two public DST benchmarks show that with the generated dialogue data, our model performs better than the baseline trained solely on real data. In addition, our approach is also capable of adapting to the dynamic demands in real-world scenarios, generating dialogues in new domains swiftly. After replacing dialogue segments in any domain with the corresponding generated ones, the model achieves comparable performance to the model trained on real data.
- Abstract（参考訳）: 対話状態追跡(DST)は,会話中の対話状態を監視し,タスク指向対話システムの開発において重要な役割を果たすように設計されている。
しかし、DSTタスクの注釈付きデータを取得するのは、通常、コストがかかる作業である。
本稿では,対話収集とアノテーションコストを低減するために,LLMを用いて対話データを生成することに焦点を当てる。
具体的には、GPT-4はユーザとエージェントのインタラクションをシミュレートするために使用され、DSTラベルに注釈付けされた数千の対話を生成する。
そして、生成されたデータとDST予測のための実データとに基づいてLLaMA2の2段階微調整を行う。
2つの公開DSTベンチマーク実験の結果、生成した対話データにより、本モデルは実データのみに基づいてトレーニングされたベースラインよりも優れた性能を示すことが示された。
さらに,本手法は現実シナリオの動的な要求に適応し,新たなドメインでの対話を迅速に生成する。
任意のドメインの対話セグメントを対応する生成されたセグメントに置き換えた後、モデルは実際のデータでトレーニングされたモデルと同等のパフォーマンスを達成する。
関連論文リスト
- Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。
タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。
DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
論文 参考訳（メタデータ） (2024-01-04T14:36:38Z) - OPAL: Ontology-Aware Pretrained Language Model for End-to-End
Task-Oriented Dialogue [40.62090743056549]
本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。
チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
論文 参考訳（メタデータ） (2022-09-10T04:38:27Z) - Manual-Guided Dialogue for Flexible Conversational Agents [84.46598430403886]
対話データを効率的に構築し、利用する方法や、さまざまなドメインにモデルを大規模にデプロイする方法は、タスク指向の対話システムを構築する上で重要な問題である。
エージェントは対話とマニュアルの両方からタスクを学習する。
提案手法は,詳細なドメインオントロジーに対する対話モデルの依存性を低減し,様々なドメインへの適応をより柔軟にする。
論文 参考訳（メタデータ） (2022-08-16T08:21:12Z) - A Model-Agnostic Data Manipulation Method for Persona-based Dialogue
Generation [107.82729587882397]
現在のペルソナベースの対話データセットのスケールアップには費用がかかる。
このタスクの各データサンプルは、従来の対話データよりも複雑である。
本稿では,ペルソナをベースとした対話生成モデルにおいて,モデルに依存しないデータ操作手法を提案する。
論文 参考訳（メタデータ） (2022-04-21T03:49:54Z) - In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。
大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。
これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
論文 参考訳（メタデータ） (2022-03-16T11:58:24Z) - Dialogue Summaries as Dialogue States (DS2), Template-Guided
Summarization for Few-shot Dialogue State Tracking [16.07100713414678]
DST(Few-shot dialogue state tracking)は、この問題に対する現実的な解決策である。
本稿では,対話状態追跡を対話要約問題として再検討する。
論文 参考訳（メタデータ） (2022-03-03T07:54:09Z) - Dual Learning for Dialogue State Tracking [44.679185483585364]
対話状態追跡(DST)とは、各ターンの対話状態を推定することである。
複雑な対話履歴のコンテキストに依存するため、DSTデータアノテーションは単文言語理解よりも高価である。
ラベルのないデータを完全に活用するための新しい二元学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-22T10:15:09Z) - Dialogue Distillation: Open-Domain Dialogue Augmentation Using Unpaired
Data [61.71319905364992]
未ペアデータを利用したオープンドメイン対話モデルのトレーニングのための新しいデータ拡張手法を提案する。
データレベルの蒸留プロセスが最初に提案され、未確認データからポストとレスポンスの両方を検索する拡張ダイアログを構築する。
低品質の対話をフィルタリングするためにランキングモジュールが使用される。
モデルレベルの蒸留プロセスを用いて、高品質なペアデータに基づいて訓練された教師モデルを、強化された対話ペアに蒸留する。
論文 参考訳（メタデータ） (2020-09-20T13:06:38Z) - Modeling Long Context for Task-Oriented Dialogue State Generation [51.044300192906995]
本稿では,シンプルで効果的な発話タグ付け手法と双方向言語モデルを用いたマルチタスク学習モデルを提案する。
提案手法は,入力対話コンテキストシーケンスが長い場合に,ベースラインの性能が著しく低下する,という問題を解決する。
本実験では,MultiWOZ 2.0データセットにおいて,ベースラインに対して7.03%の相対的改善を実現し,新しい最先端のジョイントゴール精度を52.04%に設定した。
論文 参考訳（メタデータ） (2020-04-29T11:02:25Z) - Non-Autoregressive Dialog State Tracking [122.2328875457225]
非自己回帰的対話状態追跡(NADST)の新しい枠組みを提案する。
NADSTはドメインとスロット間の潜在的な依存関係を分解し、分離されたスロットではなく完全なセットとして対話状態の予測を改善するためにモデルを最適化する。
以上の結果から,MultiWOZ 2.1コーパス上の全領域にわたる最先端の接合精度が得られた。
論文 参考訳（メタデータ） (2020-02-19T06:39:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。