論文の概要: CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation

• arxiv url: http://arxiv.org/abs/2211.11617v1
• Date: Mon, 21 Nov 2022 16:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 19:50:19.862747
• Title: CGoDial: A Large-Scale Benchmark for Chinese Goal-oriented Dialog Evaluation
• Title（参考訳）: CGoDial:中国の目標指向ダイアログ評価のための大規模ベンチマーク
• Authors: Yinpei Dai, Wanwei He, Bowen Li, Yuchuan Wu, Zheng Cao, Zhongqi An, Jian Sun, Yongbin Li
• Abstract要約: CGoDialは、Goal指向のダイアログ評価のための、新しい挑戦的で包括的な中国のベンチマークである。 96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。 学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。
• 参考スコア（独自算出の注目度）: 75.60156479374416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Practical dialog systems need to deal with various knowledge sources, noisy user expressions, and the shortage of annotated data. To better solve the above problems, we propose CGoDial, new challenging and comprehensive Chinese benchmark for multi-domain Goal-oriented Dialog evaluation. It contains 96,763 dialog sessions and 574,949 dialog turns totally, covering three datasets with different knowledge sources: 1) a slot-based dialog (SBD) dataset with table-formed knowledge, 2) a flow-based dialog (FBD) dataset with tree-formed knowledge, and a retrieval-based dialog (RBD) dataset with candidate-formed knowledge. To bridge the gap between academic benchmarks and spoken dialog scenarios, we either collect data from real conversations or add spoken features to existing datasets via crowd-sourcing. The proposed experimental settings include the combinations of training with either the entire training set or a few-shot training set, and testing with either the standard test set or a hard test subset, which can assess model capabilities in terms of general prediction, fast adaptability and reliable robustness.
• Abstract（参考訳）: 実用的なダイアログシステムは、様々な知識ソース、騒がしいユーザ表現、注釈付きデータの不足に対処する必要がある。 そこで本研究では,マルチドメイン目標指向ダイアログ評価のためのcgodial,new challenge and comprehensive chinese benchmarkを提案する。 96,763のダイアログセッションと574,949のダイアログがすべて含まれており、異なる知識ソースを持つ3つのデータセットをカバーする。 1)表形式の知識を持つslot-based dialog(sbd)データセット 2) フローベースダイアログ(fbd)データセットに木型知識,検索型ダイアログ(rbd)データセットに候補型知識を付与する。 学術ベンチマークと音声対話のシナリオのギャップを埋めるために、実際の会話からデータを収集したり、クラウドソーシングを通じて既存のデータセットに音声機能を追加する。 提案された実験的な設定には、トレーニングセット全体または数発のトレーニングセットでのトレーニングの組み合わせ、標準テストセットまたはハードテストサブセットによるテストが含まれており、一般的な予測、迅速な適応性、信頼性の面でモデルの能力を評価することができる。

関連論文リスト

• DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI [92.29874802394167]
  DialogStudioは対話データセットの最大かつ最も多様なコレクションである。 本コレクションは,オープンドメイン対話,タスク指向対話,自然言語理解,対話レコメンデーション,対話要約,知識基底対話などのデータを含む。
  論文  参考訳（メタデータ） (2023-07-19T17:57:53Z)
• Knowledge-Retrieval Task-Oriented Dialog Systems with Semi-Supervision [22.249113574918034]
  既存のタスク指向ダイアログ(TOD)システムは、スロットと値の観点からダイアログの状態を追跡し、データベースに問い合わせて応答を生成する。 現実のアプリケーションでは,ユーザの発話がノイズが多いため,対話状態を正確に追跡し,関連する知識を正しく確保することは困難である。 そこで本研究では,TODシステムにおける知識選択を高速化する検索手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:29:20Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• HybriDialogue: An Information-Seeking Dialogue Dataset Grounded on Tabular and Textual Data [87.67278915655712]
  我々は、ウィキペディアのテキストとテーブルの両方を基盤とした、クラウドソーシングされた自然な会話からなる新しい対話データセットHybriDialogueを提示する。 これらの会話は、複雑なマルチホップ質問をシンプルで現実的なマルチターン対話に分解することで生成される。
  論文  参考訳（メタデータ） (2022-04-28T00:52:16Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Dialog Simulation with Realistic Variations for Training Goal-Oriented Conversational Systems [14.206866126142002]
  ゴール指向のダイアログシステムにより、ユーザーは映画に関する情報をリクエストしたり、チケットを予約したりといった特定の目標を達成することができる。 本稿では,注釈付きダイアログとダイアログスキーマから,注釈付きダイアログの大規模なコーパスを自動生成する手法を提案する。 ベースラインダイアログ生成手法と比較して,ホールドアウトテストセットの50%の相対精度を実現した。
  論文  参考訳（メタデータ） (2020-11-16T19:39:15Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。