論文の概要: GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with
Semi-Supervised Learning and Explicit Policy Injection
- arxiv url: http://arxiv.org/abs/2111.14592v1
- Date: Mon, 29 Nov 2021 15:24:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 22:31:59.188031
- Title: GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with
Semi-Supervised Learning and Explicit Policy Injection
- Title（参考訳）: galaxy: 半教師付き学習と明示的なポリシーインジェクションを伴うタスク指向ダイアログ生成型事前学習モデル
- Authors: Wanwei He, Yinpei Dai, Yinhe Zheng, Yuchuan Wu, Zheng Cao, Dermot Liu,
Peng Jiang, Min Yang, Fei Huang, Luo Si, Jian Sun, Yongbin Li
- Abstract要約: 本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから,対話ポリシーを明示的に学習する,事前学習型ダイアログモデルを提案する。
具体的には、事前学習中にポリシー最適化のためのダイアログアクト予測タスクを導入し、一貫性の規則化項を用いて、学習した表現を洗練させる。
その結果,GALAXYはタスク指向対話システムの性能を大幅に向上させることがわかった。
- 参考スコア（独自算出の注目度）: 36.77204909711832
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained models have proved to be powerful in enhancing task-oriented
dialog systems. However, current pre-training methods mainly focus on enhancing
dialog understanding and generation tasks while neglecting the exploitation of
dialog policy. In this paper, we propose GALAXY, a novel pre-trained dialog
model that explicitly learns dialog policy from limited labeled dialogs and
large-scale unlabeled dialog corpora via semi-supervised learning.
Specifically, we introduce a dialog act prediction task for policy optimization
during pre-training and employ a consistency regularization term to refine the
learned representation with the help of unlabeled dialogs. We also implement a
gating mechanism to weigh suitable unlabeled dialog samples. Empirical results
show that GALAXY substantially improves the performance of task-oriented dialog
systems, and achieves new state-of-the-art results on benchmark datasets:
In-Car, MultiWOZ2.0 and MultiWOZ2.1, improving their end-to-end combined scores
by 2.5, 5.3 and 5.5 points, respectively. We also show that GALAXY has a
stronger few-shot ability than existing models under various low-resource
settings.
- Abstract（参考訳）: 事前学習されたモデルはタスク指向のダイアログシステムを強化するのに強力であることが証明された。
しかし,現在の事前学習方法は,対話政策の活用を怠りながら,対話理解と生成タスクの強化に重点を置いている。
本稿では,限定ラベル付きダイアログと,半教師付き学習による大規模ラベルなしダイアログコーパスからダイアログポリシを明示的に学習する,新しい事前学習ダイアログモデルgalaxyを提案する。
具体的には,事前学習中の政策最適化のためのダイアログ行動予測タスクを導入し,ラベルなしダイアログを用いて学習表現を洗練するために一貫性正規化用語を用いる。
また,ラベルなしのダイアログサンプルの重み付けを行うゲーティング機構を実装した。
In-Car,MultiWOZ2.0,MultiWOZ2.1というベンチマークデータセット上で,GALAXYはタスク指向ダイアログシステムの性能を著しく改善し,それぞれ2.5,5.3,5.5ポイント向上した。
また,GALAXYは,各種低リソース環境下での既存モデルよりも高機能であることを示す。
関連論文リスト
- Contextual Data Augmentation for Task-Oriented Dialog Systems [8.085645180329417]
本研究では,ユーザターンを生成する新しいダイアログ拡張モデルを構築し,完全なダイアログコンテキストを条件づける。
言語モデルの新しいプロンプト設計と出力の再ランク付けにより、我々のモデルから生成されたダイアログを直接使用して、下流ダイアログシステムのトレーニングを行うことができる。
論文 参考訳（メタデータ） (2023-10-16T13:22:34Z) - SPACE-3: Unified Dialog Model Pre-training for Task-Oriented Dialog
Understanding and Generation [123.37377363355363]
SPACE-3は、大規模対話コーパスから学習する、新しい半教師付き会話モデルである。
幅広いダウンストリームダイアログタスクを効果的に微調整できる。
その結果、SPACE-3は8つの下流ダイアログベンチマークで最先端のパフォーマンスを達成することがわかった。
論文 参考訳（メタデータ） (2022-09-14T14:17:57Z) - GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。
GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。
評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文 参考訳（メタデータ） (2022-06-22T18:19:32Z) - DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for
Dialog Response Generation [80.45816053153722]
DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。
我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
論文 参考訳（メタデータ） (2022-04-27T16:18:15Z) - "Think Before You Speak": Improving Multi-Action Dialog Policy by
Planning Single-Action Dialogs [33.78889030078026]
マルチアクションダイアログポリシー(MADP)は、ターンごとに複数のアトミックダイアログアクションを生成する。
シングルアクションダイアログダイナミクスを学習する新しいマルチタスク学習フレームワークであるPlanning Enhanced Dialog Policy (PEDP)を提案する。
完全教師付き学習ベース手法は, タスク成功率90.6%を達成し, 最先端の手法に比べて3%向上した。
論文 参考訳（メタデータ） (2022-04-25T07:55:53Z) - Modeling Long Context for Task-Oriented Dialogue State Generation [51.044300192906995]
本稿では,シンプルで効果的な発話タグ付け手法と双方向言語モデルを用いたマルチタスク学習モデルを提案する。
提案手法は,入力対話コンテキストシーケンスが長い場合に,ベースラインの性能が著しく低下する,という問題を解決する。
本実験では,MultiWOZ 2.0データセットにおいて,ベースラインに対して7.03%の相対的改善を実現し,新しい最先端のジョイントゴール精度を52.04%に設定した。
論文 参考訳（メタデータ） (2020-04-29T11:02:25Z) - Paraphrase Augmented Task-Oriented Dialog Generation [68.1790912977053]
本稿では,パラフレーズモデルと応答生成モデルを協調訓練するパラフレーズ拡張応答生成(PARG)フレームワークを提案する。
また、ダイアログ状態とダイアログアクトラベルに基づいて、パラフレーズトレーニングデータセットを自動構築する手法も設計する。
論文 参考訳（メタデータ） (2020-04-16T05:12:36Z) - Variational Hierarchical Dialog Autoencoder for Dialog State Tracking
Data Augmentation [59.174903564894954]
本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。
目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。
各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
論文 参考訳（メタデータ） (2020-01-23T15:34:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。