論文の概要: MultiWOZ 2.4: A Multi-Domain Task-Oriented Dialogue Dataset with
Essential Annotation Corrections to Improve State Tracking Evaluation
- arxiv url: http://arxiv.org/abs/2104.00773v1
- Date: Thu, 1 Apr 2021 21:31:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-06 01:00:43.616017
- Title: MultiWOZ 2.4: A Multi-Domain Task-Oriented Dialogue Dataset with
Essential Annotation Corrections to Improve State Tracking Evaluation
- Title（参考訳）: MultiWOZ 2.4: 状態追跡評価を改善するための基本アノテーション補正付きマルチドメインタスク指向対話データセット
- Authors: Fanghua Ye, Jarana Manotumruksa, Emine Yilmaz
- Abstract要約: この作業ではMultiWOZ 2.4を導入し、MultiWOZ 2.1上でバリデーションセットとテストセットのすべてのアノテーションを洗練する。
トレーニングセットのアノテーションは、堅牢でノイズ耐性のあるモデルトレーニングを促進するために変わっていない。
さらに8つの最先端の対話状態追跡モデルをベンチマークする。
- 参考スコア（独自算出の注目度）: 22.642643471824076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The MultiWOZ 2.0 dataset was released in 2018. It consists of more than
10,000 task-oriented dialogues spanning 7 domains, and has greatly stimulated
the research of task-oriented dialogue systems. However, there is substantial
noise in the state annotations, which hinders a proper evaluation of dialogue
state tracking models. To tackle this issue, massive efforts have been devoted
to correcting the annotations, resulting in 3 improved versions of this dataset
(i.e., MultiWOZ 2.1-2.3). Even so, there are still lots of incorrect and
inconsistent annotations. This work introduces MultiWOZ 2.4, in which we refine
all annotations in the validation set and test set on top of MultiWOZ 2.1. The
annotations in the training set remain unchanged to encourage robust and
noise-resilient model training. We further benchmark 8 state-of-the-art
dialogue state tracking models. All these models achieve much higher
performance on MultiWOZ 2.4 than on MultiWOZ 2.1.
- Abstract（参考訳）: MultiWOZ 2.0データセットは2018年にリリースされた。
7つのドメインにまたがる1万以上のタスク指向対話で構成され、タスク指向対話システムの研究を大いに刺激している。
しかし、状態アノテーションにはかなりのノイズがあり、対話状態追跡モデルの適切な評価を妨げる。
この問題に対処するため、アノテーションの修正に多大な努力が費やされ、3つの改良版(MultiWOZ 2.1-2.3)が作成された。
それでも、不正確で一貫性のないアノテーションはたくさんあります。
この研究はMultiWOZ 2.4を導入し、検証セットのすべてのアノテーションとMultiWOZ 2.1上でのテストセットを洗練します。
トレーニングセットのアノテーションは、堅牢でノイズ耐性のあるモデルトレーニングを促進するために変わっていない。
さらに8つの最先端対話状態追跡モデルをベンチマークする。
これらのモデルは全てMultiWOZ 2.1よりもMultiWOZ 2.4で高い性能を達成している。
関連論文リスト
- Multi3WOZ: A Multilingual, Multi-Domain, Multi-Parallel Dataset for
Training and Evaluating Culturally Adapted Task-Oriented Dialog Systems [64.40789703661987]
Multi3WOZは、新しいマルチ言語、マルチドメイン、マルチ並列ToDデータセットである。
大規模で、4つの言語で文化的に適応したダイアログを提供する。
最終データセットを生成する複雑なボトムアップデータ収集プロセスについて述べる。
論文 参考訳（メタデータ） (2023-07-26T08:29:42Z) - Which One Are You Referring To? Multimodal Object Identification in
Situated Dialogue [50.279206765971125]
本稿では,会話や状況から多モーダル入力を解釈する3つの手法について検討する。
最適手法であるシーン対話アライメントは,SIMMC 2.1ベースラインと比較して20%F1スコアで性能を向上する。
論文 参考訳（メタデータ） (2023-02-28T15:45:20Z) - XQA-DST: Multi-Domain and Multi-Lingual Dialogue State Tracking [23.945407948894967]
ニューラルリーディング理解手法を用いて,多言語・多言語対話状態トラッカーを提案する。
提案手法は,対話自体から値が抽出されるスパン予測を用いてスロット値を満たす。
5つのドメインに対して平均31.6%のJGAを持つMultiWOZ 2.1上でのゼロショットドメイン適応実験による競合転送性を示す。
論文 参考訳（メタデータ） (2022-04-12T15:45:32Z) - ASSIST: Towards Label Noise-Robust Dialogue State Tracking [19.742274632152366]
本稿では,雑音ラベルから対話状態追跡モデルを頑健に学習するためのASSISTを提案する。
ASSISTはDSTのゴール精度を初期バージョンのMultiWOZ 2.0で最大28.16%、最新バージョンのMultiWOZ 2.4で最大8.41%改善している。
論文 参考訳（メタデータ） (2022-02-26T00:33:32Z) - Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。
我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。
パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
論文 参考訳（メタデータ） (2021-09-28T11:22:38Z) - MultiWOZ 2.3: A multi-domain task-oriented dialogue dataset enhanced
with annotation corrections and co-reference annotation [46.05021601314733]
ダイアログ状態アノテーションはエラーを起こしやすいため、サブ最適化パフォーマンスにつながる。
我々はMultiWOZ 2.3を導入し、対話行動における誤ったアノテーションと対話状態とを区別する。
我々は,共参照機能を実装し,対話行動や対話状態のアノテーションを統一する。
論文 参考訳（メタデータ） (2020-10-12T10:53:19Z) - MultiWOZ 2.2 : A Dialogue Dataset with Additional Annotation Corrections
and State Tracking Baselines [15.540213987132839]
この作業では、MultiWOZ 2.2が導入された。
まず,MultiWOZ 2.1上での発話の17.3%にわたって,対話状態のアノテーションエラーを特定し,修正する。
第二に、多くの可能な値でスロットの語彙を再定義する。
論文 参考訳（メタデータ） (2020-07-10T22:52:14Z) - A Contextual Hierarchical Attention Network with Adaptive Objective for
Dialogue State Tracking [63.94927237189888]
本稿では,コンテキスト階層型アテンションネットワークを用いて対話状態追跡(DST)を強化することを提案する。
また,訓練中に異なるスロットの重みを動的に調整することでスロット不均衡問題を緩和する適応的目標を提案する。
実験の結果,MultiWOZ 2.0とMultiWOZ 2.1データセットでは52.68%,58.55%のジョイント精度が得られた。
論文 参考訳（メタデータ） (2020-06-02T12:25:44Z) - CrossWOZ: A Large-Scale Chinese Cross-Domain Task-Oriented Dialogue
Dataset [58.910961297314415]
CrossWOZは、中国のCross-Domain Wizard-of-Ozタスク指向データセットとしては初めての大規模である。
6K対話セッションと、ホテル、レストラン、アトラクション、メトロ、タクシーを含む5つのドメインの102K発話が含まれている。
論文 参考訳（メタデータ） (2020-02-27T03:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。