論文の概要: Preview, Attend and Review: Schema-Aware Curriculum Learning for
Multi-Domain Dialog State Tracking
- arxiv url: http://arxiv.org/abs/2106.00291v1
- Date: Tue, 1 Jun 2021 07:52:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-02 23:23:48.931854
- Title: Preview, Attend and Review: Schema-Aware Curriculum Learning for
Multi-Domain Dialog State Tracking
- Title(参考訳): マルチドメイン対話状態追跡のためのスキーマ対応カリキュラム学習のプレビュー,参加,レビュー
- Authors: Yinpei Dai, Hangyu Li, Yongbin Li, Jian Sun, Fei Huang, Luo Si,
Xiaodan Zhu
- Abstract要約: 既存のダイアログ状態追跡(DST)モデルは、ランダムな順番でダイアログデータをトレーニングする。
課題指向対話におけるカリキュラム構造とスキーマ構造の両方をよりよく活用するために,カリキュラム学習(CL)を提案する。
- 参考スコア(独自算出の注目度): 43.46435325700253
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing dialog state tracking (DST) models are trained with dialog data in a
random order, neglecting rich structural information in a dataset. In this
paper, we propose to use curriculum learning (CL) to better leverage both the
curriculum structure and schema structure for task-oriented dialogs.
Specifically, we propose a model-agnostic framework called Schema-aware
Curriculum Learning for Dialog State Tracking (SaCLog), which consists of a
preview module that pre-trains a DST model with schema information, a
curriculum module that optimizes the model with CL, and a review module that
augments mispredicted data to reinforce the CL training. We show that our
proposed approach improves DST performance over both a transformer-based and
RNN-based DST model (TripPy and TRADE) and achieves new state-of-the-art
results on WOZ2.0 and MultiWOZ2.1.
- Abstract(参考訳): 既存のダイアログ状態追跡(DST)モデルは、データセットの豊富な構造情報を無視して、ランダムにダイアログデータをトレーニングする。
本稿では,課題指向対話におけるカリキュラム構造とスキーマ構造の両方をよりよく活用するために,カリキュラム学習(CL)を提案する。
具体的には,Schema-aware Curriculum Learning for Dialog State Tracking (SaCLog) と呼ばれるモデルに依存しないフレームワークを提案する。このフレームワークは,DSTモデルをスキーマ情報で事前トレーニングするプレビューモジュールと,CLでモデルを最適化するカリキュラムモジュールと,CLトレーニングの強化のために誤予測データを拡張するレビューモジュールから構成される。
提案手法は変換器ベースおよびRNNベースDSTモデル(TripPyおよびTRADE)よりもDST性能が向上し,WOZ2.0およびMultiWOZ2.1における新たな最先端結果が得られることを示す。
関連論文リスト
- Schema Graph-Guided Prompt for Multi-Domain Dialogue State Tracking [16.955887768832046]
対話スキーマを組み込んでドメイン固有のプロンプトを学習するグラフベースのフレームワークを提案する。
具体的には、グラフニューラルネットワークによって符号化されたドメイン固有スキーマを事前訓練された言語モデルに組み込む。
本実験は,提案手法が他のマルチドメインDST手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-10T19:00:02Z) - FLIP: Towards Fine-grained Alignment between ID-based Models and
Pretrained Language Models for CTR Prediction [51.64257638308695]
本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。
論文 参考訳(メタデータ) (2023-10-30T11:25:03Z) - In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。
大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。
これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
論文 参考訳(メタデータ) (2022-03-16T11:58:24Z) - Prompt Learning for Few-Shot Dialogue State Tracking [75.50701890035154]
本稿では,限られたラベル付きデータを用いて,対話状態追跡(DST)モデルを効率的に学習する方法に焦点を当てる。
本稿では,2つの主要なコンポーネントである値ベースプロンプトと逆プロンプト機構からなる,数ショットDSTのためのプロンプト学習フレームワークを設計する。
実験により、我々のモデルは未確認のスロットを生成し、既存の最先端の数ショット法より優れていることが示された。
論文 参考訳(メタデータ) (2022-01-15T07:37:33Z) - Representation Learning for Conversational Data using Discourse Mutual
Information Maximization [9.017156603976915]
構造を意識しない単語・バイ・ワード生成は効果的な会話モデリングには適さないと我々は主張する。
対話表現モデルの学習のための構造認識型相互情報に基づく損失関数DMIを提案する。
本モデルでは,対話評価タスクであるDailyDialog++において,ランダムな負のシナリオと逆のシナリオの両方において,最も有望な性能を示す。
論文 参考訳(メタデータ) (2021-12-04T13:17:07Z) - Learning Dynamics Models for Model Predictive Agents [28.063080817465934]
モデルに基づく強化学習は、データからテクトダイナミックスモデルを学習し、そのモデルを使用して振る舞いを最適化する。
本稿では, 動的モデル学習における設計選択の役割を, 基礎構造モデルとの比較により明らかにすることを目的としている。
論文 参考訳(メタデータ) (2021-09-29T09:50:25Z) - Schema-Guided Paradigm for Zero-Shot Dialog [9.822870889029115]
本稿では,STARコーパスのアテンションモデル(SAM)とスキーマ表現の改善について紹介する。
SAMはゼロショット設定が大幅に改善され、前の作業よりも+22のF1スコアが向上した。
その結果, ダイアログにおけるゼロショット一般化の可能性が検証された。
論文 参考訳(メタデータ) (2021-06-13T17:44:45Z) - RADDLE: An Evaluation Benchmark and Analysis Platform for Robust
Task-oriented Dialog Systems [75.87418236410296]
我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。
RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。
先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-12-29T08:58:49Z) - A Fast and Robust BERT-based Dialogue State Tracker for Schema-Guided
Dialogue Dataset [8.990035371365408]
本稿では,目標指向対話システムにおける状態追跡のための高速かつ堅牢なBERTベースモデルであるFastSGTを紹介する。
提案モデルは自然言語記述を含むGuided Dialogueデータセットのために設計されている。
本モデルでは,精度を著しく向上しつつ,計算およびメモリ消費の面で効率を保っている。
論文 参考訳(メタデータ) (2020-08-27T18:51:18Z) - Variational Hierarchical Dialog Autoencoder for Dialog State Tracking
Data Augmentation [59.174903564894954]
本研究では,この手法を,ゴール指向対話のための対話状態追跡タスクに拡張する。
目的指向ダイアログの完全な側面をモデル化するための変分階層型ダイアログオートエンコーダ(VHDA)を提案する。
各種ダイアログデータセットを用いた実験により、生成データ拡張による下流ダイアログトラッカーのロバスト性の向上が示された。
論文 参考訳(メタデータ) (2020-01-23T15:34:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。