論文の概要: TaskDiff: A Similarity Metric for Task-Oriented Conversations

• arxiv url: http://arxiv.org/abs/2310.15298v1
• Date: Mon, 23 Oct 2023 19:03:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 22:02:38.128615
• Title: TaskDiff: A Similarity Metric for Task-Oriented Conversations
• Title（参考訳）: TaskDiff: タスク指向の会話のための類似度メトリクス
• Authors: Ankita Bhaumik, Praveen Venkateswaran, Yara Rizk, Vatche Isahagian
• Abstract要約: 本稿では,対話的類似度尺度であるTaskDiffを紹介する。 異なる対話コンポーネント(発話、意図、スロット)とそれらの分布を使って類似性を計算する。
• 参考スコア（独自算出の注目度）: 6.136198298002772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The popularity of conversational digital assistants has resulted in the availability of large amounts of conversational data which can be utilized for improved user experience and personalized response generation. Building these assistants using popular large language models like ChatGPT also require additional emphasis on prompt engineering and evaluation methods. Textual similarity metrics are a key ingredient for such analysis and evaluations. While many similarity metrics have been proposed in the literature, they have not proven effective for task-oriented conversations as they do not take advantage of unique conversational features. To address this gap, we present TaskDiff, a novel conversational similarity metric that utilizes different dialogue components (utterances, intents, and slots) and their distributions to compute similarity. Extensive experimental evaluation of TaskDiff on a benchmark dataset demonstrates its superior performance and improved robustness over other related approaches.
• Abstract（参考訳）: 対話型デジタルアシスタントの普及により、ユーザエクスペリエンスの向上とパーソナライズされた応答生成に使用できる大量の会話データが利用可能になった。 ChatGPTのようなポピュラーな言語モデルを使ってこれらのアシスタントを構築するには、さらなるエンジニアリングと評価方法に重点を置く必要がある。 テキストの類似度指標は、このような分析と評価の重要な要素である。 文献では多くの類似度指標が提案されているが、ユニークな会話特徴を活かさないため、タスク指向の会話には有効ではない。 このギャップに対処するために、異なる対話成分(発話、意図、スロット)とそれらの分布を利用して類似度を計算する新しい会話類似度指標TaskDiffを提案する。 TaskDiffのベンチマークデータセットに対する大規模な実験的評価は、他の関連するアプローチよりも優れたパフォーマンスと堅牢性を示している。

関連論文リスト

• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• Unsupervised Dialogue Topic Segmentation with Topic-aware Utterance Representation [51.22712675266523]
  対話トピック(DTS)は、様々な対話モデリングタスクにおいて重要な役割を果たす。 本稿では,ラベルなし対話データからトピック対応発話表現を学習する,教師なしDSSフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-04T11:35:23Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• Active Learning of Ordinal Embeddings: A User Study on Football Data [4.856635699699126]
  人間は本来、未知の類似性関数を使用してラベル付けされていないデータセットのインスタンス間の距離を計測する。 この研究はディープ・メトリック・ラーニングを使用して、大規模なフットボールの軌跡データセットのアノテーションからユーザ定義の類似性関数を学習する。
  論文  参考訳（メタデータ） (2022-07-26T07:55:23Z)
• KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
  対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。 本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
  論文  参考訳（メタデータ） (2022-05-11T16:01:03Z)
• We've had this conversation before: A Novel Approach to Measuring Dialog Similarity [9.218829323265371]
  ダイアログ類似性のシナリオに対する編集距離距離の新たな適応法を提案する。 提案手法は,発話意味論,会話の流れ,参加者など,さまざまな会話の側面を考慮に入れている。
  論文  参考訳（メタデータ） (2021-10-12T07:24:12Z)
• Phonetic Word Embeddings [1.2192936362342826]
  本稿では,人間の音知覚からモチベーションを受ける単語間の音声的類似性を計算するための新しい手法を提案する。 この計量は、類似の発声語をまとめる連続ベクトル埋め込み空間を学ぶために用いられる。 本手法の有効性を2つの異なる言語(ヒンディー語、ヒンディー語)で示し、過去の報告よりも高い性能を示した。
  論文  参考訳（メタデータ） (2021-09-30T01:46:01Z)
• POSSCORE: A Simple Yet Effective Evaluation of Conversational Search with Part of Speech Labelling [25.477834359694473]
  Google AssistantやMicrosoft Cortanaのような会話型検索システムは、ユーザーが自然言語対話を通じて検索システムとの通信を許可する新しい検索パラダイムを提供する。 本稿では,会話検索のための簡易かつ効果的な自動評価手法POSSCOREを提案する。 我々の指標は人間の嗜好と相関し、最先端の基準指標よりも大幅に改善できることが示される。
  論文  参考訳（メタデータ） (2021-09-07T12:31:29Z)
• Rethinking End-to-End Evaluation of Decomposable Tasks: A Case Study on Spoken Language Understanding [101.24748444126982]
  分解可能なタスクは複雑で、サブタスクの階層から構成される。 しかし、既存のベンチマークでは、通常は表面レベルのサブタスクのみの例が示される。 サブタスク固有のユーティリティ関数上の座標アセントを用いて、ロバストなテストセットを構築するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-29T02:53:59Z)
• Meta-evaluation of Conversational Search Evaluation Metrics [15.942419892035124]
  我々は様々な会話検索指標を体系的にメタ評価する。 METEORは、すべての3つの視点を考慮して、最も優れた既存のシングルターンメトリックです。 また、適応セッションベースの評価指標を使用して、マルチターン会話検索を測定することも示します。
  論文  参考訳（メタデータ） (2021-04-27T20:01:03Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。