論文の概要: Intent Induction from Conversations for Task-Oriented Dialogue Track at
DSTC 11
- arxiv url: http://arxiv.org/abs/2304.12982v1
- Date: Tue, 25 Apr 2023 16:45:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-26 19:36:27.622352
- Title: Intent Induction from Conversations for Task-Oriented Dialogue Track at
DSTC 11
- Title(参考訳): DSTC11におけるタスク指向対話トラックの会話からのインテント誘導
- Authors: James Gung, Raphael Shu, Emily Moeng, Wesley Rose, Salvatore Romeo,
Yassine Benajiba, Arshit Gupta, Saab Mansour and Yi Zhang
- Abstract要約: このチャレンジトラックは、第11回ダイアログシステム技術チャレンジの一環として開催された。
現実的な環境で顧客意図の自動誘導方法を評価することを目的としたベンチマークを導入する。
タスク評価に適した3つのデータセットを提案し,簡単なベースラインを提案する。
- 参考スコア(独自算出の注目度): 9.084206563428655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With increasing demand for and adoption of virtual assistants, recent work
has investigated ways to accelerate bot schema design through the automatic
induction of intents or the induction of slots and dialogue states. However, a
lack of dedicated benchmarks and standardized evaluation has made progress
difficult to track and comparisons between systems difficult to make. This
challenge track, held as part of the Eleventh Dialog Systems Technology
Challenge, introduces a benchmark that aims to evaluate methods for the
automatic induction of customer intents in a realistic setting of customer
service interactions between human agents and customers. We propose two
subtasks for progressively tackling the automatic induction of intents and
corresponding evaluation methodologies. We then present three datasets suitable
for evaluating the tasks and propose simple baselines. Finally, we summarize
the submissions and results of the challenge track, for which we received
submissions from 34 teams.
- Abstract(参考訳): 近年,仮想アシスタントの需要増加と採用に伴い,インテントの自動誘導やスロットや対話状態の誘導を通じて,ボットスキーマ設計を高速化する方法が研究されている。
しかしながら、専用のベンチマークと標準化された評価の欠如により、システム間の進捗の追跡と比較が困難になっている。
このチャレンジトラックは、第11回ダイアログシステム技術チャレンジの一環として開催され、人間エージェントと顧客間のカスタマーサービスインタラクションの現実的な設定において、顧客意図の自動誘導方法を評価するためのベンチマークを導入している。
本稿では,インテントの自動誘導とそれに対応する評価手法に取り組むための2つのサブタスクを提案する。
次に,タスク評価に適したデータセットを3つ提示し,簡単なベースラインを提案する。
最後に、課題トラックの提出内容と結果を要約し、34チームから応募を受け取りました。
関連論文リスト
- CADS: A Systematic Literature Review on the Challenges of Abstractive Dialogue Summarization [7.234196390284036]
本稿では、英語対話におけるトランスフォーマーに基づく抽象要約に関する研究を要約する。
ダイアログ要約における主な課題(言語、構造、理解、話者、サリエンス、事実)をカバーします。
言語などいくつかの課題がかなりの進歩を遂げているのに対して、理解、事実性、サリエンスといった課題は依然として困難であり、重要な研究機会を持っている。
論文 参考訳(メタデータ) (2024-06-11T17:30:22Z) - Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer [78.35816158511523]
単段階の感情認識手法として,DSCT(Decoupled Subject-Context Transformer)を用いる。
広範に使われている文脈認識型感情認識データセットであるCAER-SとEMOTICの単段階フレームワークの評価を行った。
論文 参考訳(メタデータ) (2024-04-26T07:30:32Z) - The Foundations of Computational Management: A Systematic Approach to
Task Automation for the Integration of Artificial Intelligence into Existing
Workflows [55.2480439325792]
本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。
この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
論文 参考訳(メタデータ) (2024-02-07T01:45:14Z) - Overview of Robust and Multilingual Automatic Evaluation Metrics for
Open-Domain Dialogue Systems at DSTC 11 Track 4 [51.142614461563184]
第11回対話システム技術チャレンジ(DSTC11)のこのトラックは、堅牢で多言語による自動評価のメトリクスを促進するために進行中の取り組みの一部である。
本稿では、参加者に提供するデータセットとベースラインについて述べ、提案した2つのサブタスクの提出と結果の詳細について論じる。
論文 参考訳(メタデータ) (2023-06-22T10:50:23Z) - Multi-Stage Coarse-to-Fine Contrastive Learning for Conversation Intent
Induction [34.25242109800481]
本稿では,第11回対話システム技術チャレンジ(DSTC11)におけるタスク指向対話における会話からのインテントインジェクションの追跡方法について述べる。
意図的クラスタリングの本質は、異なる対話発話の表現を区別することにある。
DSTC11の評価結果では,このトラックの2つのサブタスクのうちの1位が提案システムである。
論文 参考訳(メタデータ) (2023-03-09T04:51:27Z) - Deploying a Retrieval based Response Model for Task Oriented Dialogues [8.671263996400844]
タスク指向の対話システムは会話能力が高く、状況の変化に容易に適応でき、ビジネス上の制約に適合する必要がある。
本稿では,これらの基準を満たす対話モデルを開発するための3段階の手順について述べる。
論文 参考訳(メタデータ) (2022-10-25T23:10:19Z) - Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。
本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
論文 参考訳(メタデータ) (2022-10-10T05:51:40Z) - DialogSum Challenge: Results of the Dialogue Summarization Shared Task [15.791481299499537]
我々は,INLG 2022における実生活シナリオ対話の要約作業であるDialogSum Challengeの結果を報告する。
複数の側面から人による評価により, モデル生成出力と人間の注釈付き要約との間には, 健全なギャップがあることが判明した。
これらの結果は,対話要約の難しさを示し,よりきめ細かい評価指標が必要であることを示唆している。
論文 参考訳(メタデータ) (2022-08-08T03:39:42Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-02-20T03:29:20Z) - Adding Chit-Chat to Enhance Task-Oriented Dialogues [36.93917437554091]
Chit-Chatをタスク指向の対話に追加することで、仮想アシスタントの会話をより魅力的でインタラクティブにすることができる。
我々は,2つのタスク指向対話データセットから23.8Kの対話に,新しいチャットベースのアノテーションを提案する。
また,タスク指向対話にChit-chatを追加するための3つの新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-10-24T03:22:43Z) - ConvAI3: Generating Clarifying Questions for Open-Domain Dialogue
Systems (ClariQ) [64.60303062063663]
本論文では,対話システムに対する質問の明確化に関する課題について詳述する(ClariQ)。
このチャレンジは、2020年のSearch Oriented Conversational AI (SCAI) EMNLPワークショップで、ConvAI3(Conversational AI Challenge series)の一部として組織されている。
論文 参考訳(メタデータ) (2020-09-23T19:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。