論文の概要: Don't be Contradicted with Anything! CI-ToD: Towards Benchmarking Consistency for Task-oriented Dialogue System

• arxiv url: http://arxiv.org/abs/2109.11292v1
• Date: Thu, 23 Sep 2021 10:56:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-24 15:04:14.287441
• Title: Don't be Contradicted with Anything! CI-ToD: Towards Benchmarking Consistency for Task-oriented Dialogue System
• Title（参考訳）: 何とも矛盾するな! CI-ToD:タスク指向対話システムにおけるベンチマーク一貫性を目指して
• Authors: Libo Qin, Tianbao Xie, Shijue Huang, Qiguang Chen, Xiao Xu, Wanxiang Che
• Abstract要約: 本稿では,タスク指向領域において,一貫性問題はより緊急である,と論じる。 本研究では,タスク指向ダイアログシステムにおける一貫性同定のための新しいデータセットであるCI-ToDを紹介する。 実験の結果、最先端の手法は51.3%しか達成していないことが示され、これは93.2%の人間のパフォーマンスよりもはるかに遅れている。
• 参考スコア（独自算出の注目度）: 24.227068548489385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consistency Identification has obtained remarkable success on open-domain dialogue, which can be used for preventing inconsistent response generation. However, in contrast to the rapid development in open-domain dialogue, few efforts have been made to the task-oriented dialogue direction. In this paper, we argue that consistency problem is more urgent in task-oriented domain. To facilitate the research, we introduce CI-ToD, a novel dataset for Consistency Identification in Task-oriented Dialog system. In addition, we not only annotate the single label to enable the model to judge whether the system response is contradictory, but also provide more fine-grained labels (i.e., Dialogue History Inconsistency, User Query Inconsistency and Knowledge Base Inconsistency) to encourage model to know what inconsistent sources lead to it. Empirical results show that state-of-the-art methods only achieve 51.3%, which is far behind the human performance of 93.2%, indicating that there is ample room for improving consistency identification ability. Finally, we conduct exhaustive experiments and qualitative analysis to comprehend key challenges and provide guidance for future directions. All datasets and models are publicly available at \url{https://github.com/yizhen20133868/CI-ToD}.
• Abstract（参考訳）: 整合性同定は、整合性応答生成の防止に使用できるオープンドメイン対話において顕著な成功を収めた。 しかし,オープンドメイン対話の急速な発展とは対照的に,タスク指向対話への取り組みはほとんど行われていない。 本稿では,タスク指向領域において,一貫性問題はより緊急である,と論じる。 本研究では,タスク指向対話システムにおける一貫性同定のための新しいデータセットCI-ToDを紹介する。 さらに,システム応答が矛盾しているかどうかを判断するために単一ラベルをアノテートするだけでなく,よりきめ細かいラベル(対話履歴不一貫性,ユーザクエリ不一貫性,知識ベース不一貫性)を提供し,モデルに一貫性のないソースが何をもたらすかを知るように促す。 実証的な結果から、最先端の手法は51.3%しか達成できず、これは93.2%の人間のパフォーマンスをはるかに上回っている。 最後に, 課題を理解するために, 徹底的な実験と質的分析を行い, 今後の方向性について指導する。 すべてのデータセットとモデルは、 \url{https://github.com/yizhen20133868/CI-ToD}で公開されている。

関連論文リスト

• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models [84.8919069953397]
  Self-Taught Recognizer (STAR) は、音声認識システムのための教師なし適応フレームワークである。 その結果,STARは14のドメインで平均13.5%の単語誤り率の相対的な減少を実現していることがわかった。 STARは1時間以内のラベル付きデータを必要とする高いデータ効率を示す。
  論文  参考訳（メタデータ） (2024-05-23T04:27:11Z)
• Inconsistent dialogue responses and how to recover from them [45.933921383946576]
  チャットシステムにとって重要な問題のひとつは、自分自身の好み、意見、信念、事実に一貫性を維持することだ。 本研究では,チャットシステムの発話整合性を評価する手法について検討する。
  論文  参考訳（メタデータ） (2024-01-18T19:46:04Z)
• Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning [71.8876256714229]
  本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。 提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-01-09T05:16:52Z)
• PICK: Polished & Informed Candidate Scoring for Knowledge-Grounded Dialogue Systems [59.1250765143521]
  現在の知識接地対話システムは、生成された応答を人間に好まれる品質に合わせるのに失敗することが多い。 我々は,世代別再描画フレームワークであるPolseed & Informed Candidate Scoring (PICK)を提案する。 対話履歴に関連性を維持しつつ,より忠実な応答を生成するためのPICKの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-19T08:27:09Z)
• DiactTOD: Learning Generalizable Latent Dialogue Acts for Controllable Task-Oriented Dialogue Systems [15.087619144902776]
  本稿では,潜在空間における対話行動を表現する対話行動モデル(DiactTOD)を提案する。 大規模なコーパスで事前トレーニングを行うと、DiactTODは対話を予測し制御し、制御可能な応答を生成する。
  論文  参考訳（メタデータ） (2023-08-01T23:29:16Z)
• Q-TOD: A Query-driven Task-oriented Dialogue System [33.18698942938547]
  本稿では,新しい問合せ型タスク指向対話システム,すなわちQ-TODを紹介する。 対話コンテキストから必須情報をクエリに抽出し、応答生成のための関連する知識レコードを検索する。 提案するQ-TODの有効性を評価するために,3つの公開タスク指向対話データセットに対するクエリアノテーションを収集する。
  論文  参考訳（メタデータ） (2022-10-14T06:38:19Z)
• A Universality-Individuality Integration Model for Dialog Act Classification [0.0]
  対話法(DA)は、会話における話者発話の一般的な意図を明らかにする。 本稿では, 単語キュー, パート・オブ・音声キュー, 統計キューが相互に補完し, 認識基盤を改善することを示唆する。 We propose a novel model based on universality and individuality strategy, called Universality-Individuality Integration Model (UIIM)。
  論文  参考訳（メタデータ） (2022-04-13T06:05:34Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)
• Improving Limited Labeled Dialogue State Tracking with Self-Supervision [91.68515201803986]
  既存の対話状態追跡(DST)モデルには多くのラベル付きデータが必要である。 本稿では,潜在的一貫性の維持と対話行動のモデル化という,自己指導型の2つの目的について検討する。 提案する自己教師型信号は,1%のラベル付きデータのみを使用する場合,関節ゴール精度を8.95%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-26T21:57:42Z)
• CoCo: Controllable Counterfactuals for Evaluating Dialogue State Trackers [92.5628632009802]
  本稿では,このギャップを橋渡しし,新たなシナリオにおける対話状態追跡(DST)モデルを評価するための制御可能な対策(CoCo)を提案する。 CoCoは、2つのステップで新しい会話シナリオを生成する: (i) スロットをドロップして追加し、スロット値を置き換えて、 (ii) (i) で条件付きで対話フローと整合する対実会話生成。 人間による評価では、COCO生成された会話は95%以上の精度でユーザー目標を完璧に反映し、元の会話と同じくらい人間らしくなっている。
  論文  参考訳（メタデータ） (2020-10-24T09:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。