論文の概要: MuTual: A Dataset for Multi-Turn Dialogue Reasoning

• arxiv url: http://arxiv.org/abs/2004.04494v1
• Date: Thu, 9 Apr 2020 11:42:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 02:55:57.982198
• Title: MuTual: A Dataset for Multi-Turn Dialogue Reasoning
• Title（参考訳）: MuTual:マルチターン対話推論のためのデータセット
• Authors: Leyang Cui, Yu Wu, Shujie Liu, Yue Zhang, Ming Zhou
• Abstract要約: MuTualはMulti-Turnダイアログ推論のための新しいデータセットである。 中国語の学生英語の聞き取り試験に基づく8,860の注釈付き対話で構成されている。 現状の手法は71%にしか達せず、人間のパフォーマンスは94%をはるかに上回っている。
• 参考スコア（独自算出の注目度）: 53.10434937685962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-task oriented dialogue systems have achieved great success in recent years due to largely accessible conversation data and the development of deep learning techniques. Given a context, current systems are able to yield a relevant and fluent response, but sometimes make logical mistakes because of weak reasoning capabilities. To facilitate the conversation reasoning research, we introduce MuTual, a novel dataset for Multi-Turn dialogue Reasoning, consisting of 8,860 manually annotated dialogues based on Chinese student English listening comprehension exams. Compared to previous benchmarks for non-task oriented dialogue systems, MuTual is much more challenging since it requires a model that can handle various reasoning problems. Empirical results show that state-of-the-art methods only reach 71%, which is far behind the human performance of 94%, indicating that there is ample room for improving reasoning ability. MuTual is available at https://github.com/Nealcly/MuTual.
• Abstract（参考訳）: 近年,非タスク指向対話システムは,会話データと深層学習技術の発展により,大きな成功を収めている。 状況によっては、現在のシステムは関連性があり流動的な応答を得られるが、弱い推論能力のために論理的な誤りを犯すこともある。 会話推論研究を容易にするために,中国語の学生英語聴取試験に基づく8,860の注釈付き対話からなる,多言語対話推論のための新しいデータセットであるMuTualを紹介した。 非タスク指向の対話システムに対する以前のベンチマークと比較すると、様々な推論問題に対処できるモデルを必要とするため、MuTualの方がはるかに難しい。 実験の結果、最先端の手法は71%に留まり、94%の人間性能よりもはるかに遅れており、推論能力を向上させる余地が十分にあることが示された。 MuTualはhttps://github.com/Nealcly/MuTualで入手できる。

関連論文リスト

• Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models [56.93074140619464]
  本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。 RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。 GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
  論文  参考訳（メタデータ） (2024-02-27T05:37:10Z)
• Crafting a Good Prompt or Providing Exemplary Dialogues? A Study of In-Context Learning for Persona-based Dialogue Generation [15.143135611057309]
  対人対話生成における大規模言語モデル(LLM)のICL機能を体系的に検討する。 実験結果から, 命令の調整は, 生成品質を改善するための最も直接的, 効果的, 経済的方法である, 2) デモ(デム)をランダムに検索すると, 最高の結果が得られる, 3) デモにおけるマルチターン関連やシングルターンセマンティクスを破壊しても, デモの数が増えても, 対話性能が向上する,という3つの結論が得られた。
  論文  参考訳（メタデータ） (2024-02-15T14:03:33Z)
• SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents [72.42049370297849]
  SpokenWOZは音声TODのための大規模音声テキストデータセットである。 SpokenWOZでは、クロスターンスロットと推論スロット検出が新たな課題である。
  論文  参考訳（メタデータ） (2023-05-22T13:47:51Z)
• PK-ICR: Persona-Knowledge Interactive Context Retrieval for Grounded Dialogue [21.266410719325208]
  ペルソナとナレッジ デュアルコンテキスト識別(ペルソナとナレッジ コンテクストの同定)は、与えられた対話において、ペルソナとナレッジを共同で識別するタスクである。 我々は,対話のすべての文脈を同時に活用する新しい接地検索手法を開発した。
  論文  参考訳（メタデータ） (2023-02-13T20:27:26Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
  textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。 本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。 我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
  論文  参考訳（メタデータ） (2022-10-09T06:32:58Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。