論文の概要: Inconsistent dialogue responses and how to recover from them

• arxiv url: http://arxiv.org/abs/2401.10353v1
• Date: Thu, 18 Jan 2024 19:46:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 17:43:01.762186
• Title: Inconsistent dialogue responses and how to recover from them
• Title（参考訳）: 一貫性のない対話応答とその回復方法
• Authors: Mian Zhang, Lifeng Jin, Linfeng Song, Haitao Mi and Dong Yu
• Abstract要約: チャットシステムにとって重要な問題のひとつは、自分自身の好み、意見、信念、事実に一貫性を維持することだ。 本研究では,チャットシステムの発話整合性を評価する手法について検討する。
• 参考スコア（独自算出の注目度）: 45.933921383946576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One critical issue for chat systems is to stay consistent about preferences, opinions, beliefs and facts of itself, which has been shown a difficult problem. In this work, we study methods to assess and bolster utterance consistency of chat systems. A dataset is first developed for studying the inconsistencies, where inconsistent dialogue responses, explanations of the inconsistencies, and recovery utterances are authored by annotators. This covers the life span of inconsistencies, namely introduction, understanding, and resolution. Building on this, we introduce a set of tasks centered on dialogue consistency, specifically focused on its detection and resolution. Our experimental findings indicate that our dataset significantly helps the progress in identifying and resolving conversational inconsistencies, and current popular large language models like ChatGPT which are good at resolving inconsistencies however still struggle with detection.
• Abstract（参考訳）: チャットシステムにとって重要な問題のひとつは、自分自身の好み、意見、信念、事実に一貫性を持ち続けることだ。 本研究では,チャットシステムの発話整合性を評価する手法について検討する。 データセットは、一貫性のない対話応答、不整合の説明、および回復発話をアノテーションによって作成する不整合の研究のために最初に開発された。 これは、不整合、すなわち導入、理解、解決の寿命をカバーする。 そこで本研究では,対話の一貫性,特にその検出と解決に焦点をあてたタスクセットを提案する。 実験結果から,我々のデータセットは,会話的不整合の同定と解決の進展に大きく寄与すると同時に,現在普及しているchatgptなどの大規模言語モデルにおいても,不一致の解消に長けているが,検出に支障をきたすことが判明した。

関連論文リスト

• Evaluating Task-Oriented Dialogue Consistency through Constraint Satisfaction [1.4272411349249625]
  制約満足度問題(CSP)としての対話整合性の概念化を提案する。 我々は,LLMで再語彙化された対話における不整合を検出するために,CSPソルバを利用する。 我々は、CSPがコンポーネントパイプラインに基づくアプローチでは考慮されていない対話一貫性のコア特性を捉えていると論じる。
  論文  参考訳（メタデータ） (2024-07-16T15:38:41Z)
• Red Teaming Language Models for Processing Contradictory Dialogues [30.522961490270532]
  現在利用可能な言語モデルのほとんどは、対話中に自己矛盾する傾向がある。 本研究では,会話中の矛盾文を検出し,修正することを目的とした,新たな矛盾文処理タスクについて検討する。
  論文  参考訳（メタデータ） (2024-05-16T14:27:32Z)
• Context Does Matter: Implications for Crowdsourced Evaluation Labels in Task-Oriented Dialogue Systems [57.16442740983528]
  クラウドソースラベルは、タスク指向の対話システムを評価する上で重要な役割を果たす。 従来の研究では、アノテーションプロセスで対話コンテキストの一部だけを使用することが提案されている。 本研究では,対話文脈がアノテーション品質に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-04-15T17:56:39Z)
• Evaluating Robustness of Dialogue Summarization Models in the Presence of Naturally Occurring Variations [13.749495524988774]
  実生活変動が最先端の対話要約モデルに与える影響を系統的に検討する。 発話レベルの摂動は、誤りや言語の変化によって個々の発話を変更するもので、対話レベルの摂動は非形式的交換を加えるものである。 細調整モデルと命令調整モデルの両方が入力のバリエーションの影響を受けており、後者はより感受性が高い。
  論文  参考訳（メタデータ） (2023-11-15T05:11:43Z)
• Solving NLP Problems through Human-System Collaboration: A Discussion-based Approach [98.13835740351932]
  本研究の目的は,対話を通じて予測を議論・洗練するシステムのための,データセットと計算フレームワークを構築することである。 提案システムでは,自然言語推論タスクにおいて,最大25ポイントの精度向上が期待できることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:24:50Z)
• Dialogue Inspectional Summarization with Factual Inconsistency Awareness [34.97845384948336]
  非事前学習・事前学習環境下での対話検査要約(DIS)の現実的矛盾問題について検討する。 2つの補助的なタスクを伴って、革新的なエンドツーエンドの対話要約生成フレームワークを提案する。 包括的実験により、提案モデルにより、現実的な側面を正確に網羅したより読みやすい要約が生成できることが示されている。
  論文  参考訳（メタデータ） (2021-11-05T06:26:22Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• Self-supervised Dialogue Learning for Spoken Conversational Question Answering [29.545937716796082]
  音声対話質問応答(SCQA)では、複数の会話を含む固定された音声文書を検索して分析することにより、対応する質問に対する回答を生成する。 本研究では,不整合判定,挿入検出,質問予測などの自己教師付き学習手法を導入し,コア参照の解決と対話のコヒーレンスを明確に把握する。 提案手法は,従来の事前学習言語モデルと比較して,より一貫性があり,意味があり,適切な応答を提供する。
  論文  参考訳（メタデータ） (2021-06-04T00:09:38Z)
• I like fish, especially dolphins: Addressing Contradictions in Dialogue Modeling [104.09033240889106]
  DialoguE Contradiction Detection Task(DECODE)と、人間とロボットの矛盾した対話の両方を含む新しい会話データセットを紹介します。 次に、事前学習したトランスフォーマーモデルを用いて、定型的非構造的アプローチと矛盾検出を行う構造的発話に基づくアプローチを比較する。
  論文  参考訳（メタデータ） (2020-12-24T18:47:49Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。