論文の概要: MultiWOZ 2.2 : A Dialogue Dataset with Additional Annotation Corrections and State Tracking Baselines

• arxiv url: http://arxiv.org/abs/2007.12720v1
• Date: Fri, 10 Jul 2020 22:52:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 20:56:24.872236
• Title: MultiWOZ 2.2 : A Dialogue Dataset with Additional Annotation Corrections and State Tracking Baselines
• Title（参考訳）: MultiWOZ 2.2 : 追加アノテーション補正と状態追跡ベースライン付き対話データセット
• Authors: Xiaoxue Zang, Abhinav Rastogi, Srinivas Sunkara, Raghav Gupta, Jianguo Zhang, Jindong Chen
• Abstract要約: この作業では、MultiWOZ 2.2が導入された。 まず,MultiWOZ 2.1上での発話の17.3%にわたって,対話状態のアノテーションエラーを特定し,修正する。 第二に、多くの可能な値でスロットの語彙を再定義する。
• 参考スコア（独自算出の注目度）: 15.540213987132839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: MultiWOZ is a well-known task-oriented dialogue dataset containing over 10,000 annotated dialogues spanning 8 domains. It is extensively used as a benchmark for dialogue state tracking. However, recent works have reported presence of substantial noise in the dialogue state annotations. MultiWOZ 2.1 identified and fixed many of these erroneous annotations and user utterances, resulting in an improved version of this dataset. This work introduces MultiWOZ 2.2, which is a yet another improved version of this dataset. Firstly, we identify and fix dialogue state annotation errors across 17.3% of the utterances on top of MultiWOZ 2.1. Secondly, we redefine the ontology by disallowing vocabularies of slots with a large number of possible values (e.g., restaurant name, time of booking). In addition, we introduce slot span annotations for these slots to standardize them across recent models, which previously used custom string matching heuristics to generate them. We also benchmark a few state of the art dialogue state tracking models on the corrected dataset to facilitate comparison for future work. In the end, we discuss best practices for dialogue data collection that can help avoid annotation errors.
• Abstract（参考訳）: multiwoz(マルチウォズ)は8つのドメインにまたがる1万以上の注釈付き対話を含むタスク指向対話データセットである。 対話状態追跡のベンチマークとして広く使われている。 しかし、近年の研究では対話状態の注釈にかなりのノイズがあることが報告されている。 MultiWOZ 2.1はこれらの誤ったアノテーションとユーザー発話の多くを特定し、修正した。 この作業では、このデータセットのもう1つの改良版であるmultiwoz 2.2が導入されている。 まず,MultiWOZ 2.1上での発話の17.3%の対話状態アノテーションエラーを特定し,修正する。 第二に、多くの可能な値(レストラン名、予約時間など)を持つスロットの語彙を無効にすることで、オントロジーを再定義する。 さらに,これらのスロットに対するスロットスパンアノテーションを導入して,従来は独自の文字列マッチングヒューリスティックを使用して生成していた最新のモデル間で標準化する。 また,修正されたデータセット上でのアート対話状態追跡モデルをいくつかベンチマークし,今後の作業の比較を容易にする。 最後に,アノテーションエラーを回避するための対話データ収集のベストプラクティスについて議論する。

関連論文リスト

• SuperDialseg: A Large-scale Dataset for Supervised Dialogue Segmentation [55.82577086422923]
  文書地上対話の助けを借りて,対話のセグメンテーションポイントを実現可能な定義を提供する。 我々は,9,478の対話を含むSuperDialsegと呼ばれる大規模教師付きデータセットをリリースする。 また、対話セグメンテーションタスクの5つのカテゴリにまたがる18のモデルを含むベンチマークも提供する。
  論文  参考訳（メタデータ） (2023-05-15T06:08:01Z)
• Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding [103.94325597273316]
  本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。 我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。 特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2022-10-25T17:01:30Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Contextual Semantic Parsing for Multilingual Task-Oriented Dialogues [7.8378818005171125]
  1つの言語で大規模な対話データセットをセットすると、機械翻訳を用いて他の言語に対して効果的な意味を自動生成できる。 本稿では、スロット値の忠実な翻訳を保証するために、アライメント付き対話データセットの自動翻訳を提案する。 簡潔な表現が翻訳誤りの複合効果を減少させることを示す。
  論文  参考訳（メタデータ） (2021-11-04T01:08:14Z)
• Annotation Inconsistency and Entity Bias in MultiWOZ [40.127114829948965]
  MultiWOZは、最も人気のあるマルチドメインタスク指向のダイアログデータセットの1つである。 ダイアログ状態追跡(DST)、自然言語生成(NLG)、エンドツーエンドダイアログモデリング(E2E)など、様々なダイアログタスクのベンチマークとして広く受け入れられている。
  論文  参考訳（メタデータ） (2021-05-29T00:09:06Z)
• MultiWOZ 2.4: A Multi-Domain Task-Oriented Dialogue Dataset with Essential Annotation Corrections to Improve State Tracking Evaluation [22.642643471824076]
  この作業ではMultiWOZ 2.4を導入し、MultiWOZ 2.1上でバリデーションセットとテストセットのすべてのアノテーションを洗練する。 トレーニングセットのアノテーションは、堅牢でノイズ耐性のあるモデルトレーニングを促進するために変わっていない。 さらに8つの最先端の対話状態追跡モデルをベンチマークする。
  論文  参考訳（メタデータ） (2021-04-01T21:31:48Z)
• RiSAWOZ: A Large-Scale Multi-Domain Wizard-of-Oz Dataset with Rich Semantic Annotations for Task-Oriented Dialogue Modeling [35.75880078666584]
  RiSAWOZ は、Rich Semantic s を用いた大規模マルチドメインの Chinese Wizard-of-Oz データセットである。 11.2Kのヒューマン・ツー・ヒューマン(H2H)マルチターン・アノテート・ダイアログを含み、12ドメインにまたがる150K以上の発話がある。
  論文  参考訳（メタデータ） (2020-10-17T08:18:59Z)
• MultiWOZ 2.3: A multi-domain task-oriented dialogue dataset enhanced with annotation corrections and co-reference annotation [46.05021601314733]
  ダイアログ状態アノテーションはエラーを起こしやすいため、サブ最適化パフォーマンスにつながる。 我々はMultiWOZ 2.3を導入し、対話行動における誤ったアノテーションと対話状態とを区別する。 我々は,共参照機能を実装し,対話行動や対話状態のアノテーションを統一する。
  論文  参考訳（メタデータ） (2020-10-12T10:53:19Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。