論文の概要: Pragmatically Appropriate Diversity for Dialogue Evaluation

• arxiv url: http://arxiv.org/abs/2304.02812v1
• Date: Thu, 6 Apr 2023 01:24:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 15:44:02.251431
• Title: Pragmatically Appropriate Diversity for Dialogue Evaluation
• Title（参考訳）: 対話評価のための実用的多様性
• Authors: Katherine Stasaski and Marti A. Hearst
• Abstract要約: 言語プラグマティクス(英語版)は、会話の根底にある音声は、会話の各ターンに適切な応答のタイプを制限できると述べている。 本稿では,対話が多種多様な応答を生成・制約する程度に定義された,実用的に適切な多様性の概念を提案する。
• 参考スコア（独自算出の注目度）: 19.74618235525502
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linguistic pragmatics state that a conversation's underlying speech acts can constrain the type of response which is appropriate at each turn in the conversation. When generating dialogue responses, neural dialogue agents struggle to produce diverse responses. Currently, dialogue diversity is assessed using automatic metrics, but the underlying speech acts do not inform these metrics. To remedy this, we propose the notion of Pragmatically Appropriate Diversity, defined as the extent to which a conversation creates and constrains the creation of multiple diverse responses. Using a human-created multi-response dataset, we find significant support for the hypothesis that speech acts provide a signal for the diversity of the set of next responses. Building on this result, we propose a new human evaluation task where creative writers predict the extent to which conversations inspire the creation of multiple diverse responses. Our studies find that writers' judgments align with the Pragmatically Appropriate Diversity of conversations. Our work suggests that expectations for diversity metric scores should vary depending on the speech act.
• Abstract（参考訳）: 言語的プラグマティクスは、会話の基盤となる音声行為は、会話の各ターンで適切な応答の種類を制限することができると述べている。 対話応答を生成するとき、神経対話エージェントは多様な応答を生成するのに苦労する。 現在、対話の多様性は自動メトリクスを用いて評価されているが、基礎となる音声行動はこれらの指標を知らせていない。 これを解決するために,会話が複数の多様な応答を生成・制約する範囲として定義される,実用的に適切な多様性の概念を提案する。 人間の生成したマルチレスポンスデータセットを用いて、音声が次の応答の集合の多様性を示す信号を提供するという仮説に対する重要な支持を得る。 そこで本研究では,対話が多種多様な反応の創造を刺激する程度を,創造的作家が予測する新しい人間評価タスクを提案する。 我々の研究は、著者の判断が実用上適切な会話の多様性と一致することを見出している。 本研究は,多様性指標の期待値が発話行動によって異なることを示唆している。

関連論文リスト

• Dialogue Quality and Emotion Annotations for Customer Support Conversations [7.218791626731783]
  本稿では、二言語的顧客サポート会話の文脈における感情と会話品質に対する全体論的アノテーションアプローチを提案する。 これは、テキスト分類モデルの開発に、ユニークで価値のあるリソースを提供する。
  論文  参考訳（メタデータ） (2023-11-23T10:56:14Z)
• Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
  混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。 エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。 標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。 代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
  論文  参考訳（メタデータ） (2023-05-06T23:11:25Z)
• Semantic Diversity in Dialogue with Natural Language Inference [19.74618235525502]
  本稿では,対話生成における多様性向上に2つの重要な貢献をする。 まず、自然言語推論(NLI)を用いて、会話に対するモデル応答の集合のセマンティック多様性を測定する新しいメトリクスを提案する。 第2に,多様性閾値生成と呼ばれる新世代の手法を用いて,サンプル化された応答集合のセマンティック多様性を反復的に改善する方法を実証する。
  論文  参考訳（メタデータ） (2022-05-03T13:56:32Z)
• "How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations [87.95711406978157]
  本研究は、音声タスク指向会話における新しいベンチマークを示す。 マルチドメイン対話状態追跡と知識基底型対話モデルについて検討する。 我々のデータセットは,タスク指向対話システムの音声によるベンチマークを可能にする。
  論文  参考訳（メタデータ） (2021-09-28T04:51:04Z)
• Commonsense-Focused Dialogues for Response Generation: An Empirical Study [39.49727190159279]
  対話応答生成におけるコモンセンスの実証的研究について述べる。 まず、ConceptNetを利用して既存の対話データセットから共通感覚対話を自動的に抽出する。 次に、対話的な環境での社会的常識を示すことを目的とした、25K対話を備えた対話データセットを新たに収集する。
  論文  参考訳（メタデータ） (2021-09-14T04:32:09Z)
• Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots [62.295373408415365]
  本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。 1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。 ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
  論文  参考訳（メタデータ） (2021-03-17T09:42:11Z)
• MultiTalk: A Highly-Branching Dialog Testbed for Diverse Conversations [39.81965687032923]
  会話対話文のコーパスであるMultiTalkデータセットについて述べる。 高分岐環境におけるダイアログ生成の研究に複数の貢献をしている。 我々の達成課題は心の問題の挑戦的理論であり、制御可能な生成課題である。
  論文  参考訳（メタデータ） (2021-02-02T02:29:40Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)
• Dialogue-Based Relation Extraction [53.2896545819799]
  本稿では,人間による対話型関係抽出(RE)データセットDialogREを提案する。 我々は,対話型タスクと従来のREタスクの類似点と相違点の分析に基づいて,提案課題において話者関連情報が重要な役割を担っていると論じる。 実験結果から,ベストパフォーマンスモデルにおける話者認識の拡張が,標準設定と会話評価設定の両方において向上することが示された。
  論文  参考訳（メタデータ） (2020-04-17T03:51:57Z)
• Masking Orchestration: Multi-task Pretraining for Multi-role Dialogue Representation Learning [50.5572111079898]
  マルチロール対話理解は、質問応答、行動分類、対話要約など、幅広い多様なタスクを含む。 対話コーパスは豊富に利用可能であるが、特定の学習タスクのためのラベル付きデータは非常に不足しており、高価である。 本研究では,教師なし事前学習タスクを用いた対話文脈表現学習について検討する。
  論文  参考訳（メタデータ） (2020-02-27T04:36:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。