論文の概要: Dialog Simulation with Realistic Variations for Training Goal-Oriented
Conversational Systems
- arxiv url: http://arxiv.org/abs/2011.08243v1
- Date: Mon, 16 Nov 2020 19:39:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-24 23:22:54.315673
- Title: Dialog Simulation with Realistic Variations for Training Goal-Oriented
Conversational Systems
- Title(参考訳): 目標指向型会話システムの実時間変動を考慮した対話シミュレーション
- Authors: Chien-Wei Lin, Vincent Auvray, Daniel Elkind, Arijit Biswas, Maryam
Fazel-Zarandi, Nehal Belgamwar, Shubhra Chandra, Matt Zhao, Angeliki
Metallinou, Tagyoung Chung, Charlie Shucheng Zhu, Suranjit Adhikari, Dilek
Hakkani-Tur
- Abstract要約: ゴール指向のダイアログシステムにより、ユーザーは映画に関する情報をリクエストしたり、チケットを予約したりといった特定の目標を達成することができる。
本稿では,注釈付きダイアログとダイアログスキーマから,注釈付きダイアログの大規模なコーパスを自動生成する手法を提案する。
ベースラインダイアログ生成手法と比較して,ホールドアウトテストセットの50%の相対精度を実現した。
- 参考スコア(独自算出の注目度): 14.206866126142002
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Goal-oriented dialog systems enable users to complete specific goals like
requesting information about a movie or booking a ticket. Typically the dialog
system pipeline contains multiple ML models, including natural language
understanding, state tracking and action prediction (policy learning). These
models are trained through a combination of supervised or reinforcement
learning methods and therefore require collection of labeled domain specific
datasets. However, collecting annotated datasets with language and dialog-flow
variations is expensive, time-consuming and scales poorly due to human
involvement. In this paper, we propose an approach for automatically creating a
large corpus of annotated dialogs from a few thoroughly annotated sample
dialogs and the dialog schema. Our approach includes a novel goal-sampling
technique for sampling plausible user goals and a dialog simulation technique
that uses heuristic interplay between the user and the system (Alexa), where
the user tries to achieve the sampled goal. We validate our approach by
generating data and training three different downstream conversational ML
models. We achieve 18 ? 50% relative accuracy improvements on a held-out test
set compared to a baseline dialog generation approach that only samples natural
language and entity value variations from existing catalogs but does not
generate any novel dialog flow variations. We also qualitatively establish that
the proposed approach is better than the baseline. Moreover, several different
conversational experiences have been built using this method, which enables
customers to have a wide variety of conversations with Alexa.
- Abstract(参考訳): ゴール指向のダイアログシステムでは,映画に関する情報の要求やチケットの予約といった,特定の目標を達成することができる。
通常、ダイアログシステムパイプラインには、自然言語理解、状態追跡、アクション予測(政治学習)など、複数のMLモデルが含まれている。
これらのモデルは教師付きあるいは強化学習の手法を組み合わせて訓練され、そのためラベル付きドメイン固有のデータセットの収集が必要である。
しかし、言語とダイアログフローのバリエーションによる注釈付きデータセットの収集はコストがかかり、時間を要するため、人間の関与によってスケールが低下する。
本稿では,いくつかのアノテーション付きサンプルダイアログとダイアログスキーマから,注釈付きダイアログの大規模なコーパスを自動的に作成する手法を提案する。
提案手法には,ユーザとシステム(Alexa)間のヒューリスティックな対話を利用した対話シミュレーション手法と,ユーザによるユーザ目標のサンプリングのための新たなゴールサンプリング手法が含まれている。
我々は、データを生成し、3つの異なる下流会話型MLモデルをトレーニングすることで、アプローチを検証する。
達成は18か?
既存のカタログから自然言語とエンティティ値のバリエーションのみをサンプリングするが、新しいダイアログフローのバリエーションを生成しないベースラインダイアログ生成アプローチと比較して、ホールドアウトテストセットの相対精度が50%向上した。
また,提案手法がベースラインよりも優れていることを定性的に証明する。
さらに、この方法を使っていくつかの異なる会話体験が構築されているため、顧客はAlexaと幅広い会話ができる。
関連論文リスト
- In-Context Learning User Simulators for Task-Oriented Dialog Systems [1.7086737326992172]
本稿では,タスク指向対話システムにおけるユーザシミュレーションにおける大規模言語モデルの新たな応用について述べる。
提案手法は,これらのモデルのパワーを生かして,ユーザ目標と限られた対話例に基づく多様な発話を生成する。
論文 参考訳(メタデータ) (2023-06-01T15:06:11Z) - DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。
実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
論文 参考訳(メタデータ) (2022-12-20T06:21:21Z) - CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog
Evaluation [75.60156479374416]
CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。
96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。
学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
論文 参考訳(メタデータ) (2022-11-21T16:21:41Z) - Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。
本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。
我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
論文 参考訳(メタデータ) (2022-10-09T06:32:58Z) - SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog
Understanding and Generation [123.37377363355363]
SPACE-3は、大規模対話コーパスから学習する、新しい半教師付き会話モデルである。
幅広いダウンストリームダイアログタスクを効果的に微調整できる。
その結果、SPACE-3は8つの下流ダイアログベンチマークで最先端のパフォーマンスを達成することがわかった。
論文 参考訳(メタデータ) (2022-09-14T14:17:57Z) - SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for
Task-Oriented Dialog Understanding [68.94808536012371]
本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。
提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
論文 参考訳(メタデータ) (2022-09-14T13:42:50Z) - In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。
大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。
これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
論文 参考訳(メタデータ) (2022-03-16T11:58:24Z) - NeuralWOZ: Learning to Collect Task-Oriented Dialogue via Model-Based
Simulation [13.943378554273377]
本稿では,モデルに基づく対話シミュレーションを用いた対話収集フレームワークNeuralWOZを提案する。
収集者は(1)ユーザの目標指示(自然言語におけるユーザコンテキストとタスク制約)と(2)システムのAPI呼び出し結果から対話を生成する。
ラベルラは、アノテーションを複数選択問題として定式化し、目標指示とAPI呼び出し結果から候補ラベルを抽出することにより、生成された対話に注釈を付ける。
論文 参考訳(メタデータ) (2021-05-30T07:54:54Z) - Alexa Conversations: An Extensible Data-driven Approach for Building
Task-oriented Dialogue Systems [21.98135285833616]
従来の目標指向対話システムは、自然言語理解、対話状態追跡、政策学習、応答生成など、さまざまなコンポーネントに依存している。
スケーラブルかつデータ効率の高い,目標指向の対話システム構築のための新たなアプローチを提案する。
論文 参考訳(メタデータ) (2021-04-19T07:09:27Z) - Variational Hierarchical Dialog Autoencoder for Dialog State Tracking
Data Augmentation [59.174903564894954]
本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。
目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。
各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
論文 参考訳(メタデータ) (2020-01-23T15:34:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。