論文の概要: TicketTalk: Toward human-level performance with end-to-end, transaction-based dialog systems

• arxiv url: http://arxiv.org/abs/2012.12458v2
• Date: Sun, 27 Dec 2020 20:51:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-26 05:47:17.120721
• Title: TicketTalk: Toward human-level performance with end-to-end, transaction-based dialog systems
• Title（参考訳）: TicketTalk: エンドツーエンドのトランザクションベースのダイアログシステムによる人間レベルのパフォーマンスを目指して
• Authors: Bill Byrne, Karthik Krishnamoorthi, Saravanan Ganesh, Mihir Sanjay Kale
• Abstract要約: トランザクションベースの対話システムに対するデータ駆動型エンドツーエンドアプローチを提案する。 本システムは,音声応答品質と実感的グラウンドリング精度の観点から,ほぼ人間レベルで動作することを示す。 我々は23,789の注釈付き会話を含む映画チケットダイアログデータセットであるTicketTalkを紹介した。
• 参考スコア（独自算出の注目度）: 10.659519248703273
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present a data-driven, end-to-end approach to transaction-based dialog systems that performs at near-human levels in terms of verbal response quality and factual grounding accuracy. We show that two essential components of the system produce these results: a sufficiently large and diverse, in-domain labeled dataset, and a neural network-based, pre-trained model that generates both verbal responses and API call predictions. In terms of data, we introduce TicketTalk, a movie ticketing dialog dataset with 23,789 annotated conversations. The movie ticketing conversations range from completely open-ended and unrestricted to more structured, both in terms of their knowledge base, discourse features, and number of turns. In qualitative human evaluations, model-generated responses trained on just 10,000 TicketTalk dialogs were rated to "make sense" 86.5 percent of the time, almost the same as human responses in the same contexts. Our simple, API-focused annotation schema results in a much easier labeling task making it faster and more cost effective. It is also the key component for being able to predict API calls accurately. We handle factual grounding by incorporating API calls in the training data, allowing our model to learn which actions to take and when. Trained on the same 10,000-dialog set, the model's API call predictions were rated to be correct 93.9 percent of the time in our evaluations, surpassing the ratings for the corresponding human labels. We show how API prediction and response generation scores improve as the dataset size incrementally increases from 5000 to 21,000 dialogs. Our analysis also clearly illustrates the benefits of pre-training. We are publicly releasing the TicketTalk dataset with this paper to facilitate future work on transaction-based dialogs.
• Abstract（参考訳）: 本稿では,トランザクションベースの対話システムに対して,音声応答品質と実測精度の観点から,ほぼ人間に近いレベルで動作する,データ駆動のエンドツーエンドアプローチを提案する。 システムの本質的な2つの構成要素は、十分に大きく多様なドメイン内ラベル付きデータセットと、言語応答とAPI呼び出し予測の両方を生成するニューラルネットワークベースの事前学習モデルである。 データに関しては、23,789の注釈付き会話を伴う映画チケット販売ダイアログデータセットであるTicketTalkを紹介する。 映画のチケットの会話は、知識ベース、談話の特徴、ターン数という観点から、完全にオープンで制限されていないものから、より構造化されたものまで様々である。 質的人間評価では、たった1万のチケットトークダイアログでトレーニングされたモデル生成応答は、86.5パーセントの確率で「意味を成す」ように評価され、同じ文脈で人間の反応とほとんど同じであった。 私たちのシンプルなAPI中心のアノテーションスキーマは、より高速でコスト効率の良いラベリングタスクをもたらします。 また、API呼び出しを正確に予測するための重要なコンポーネントでもある。 トレーニングデータにapiコールを組み込むことで、事実の接地を処理し、モデルがどのアクションを取るべきかを学習できるようにします。 同じ1万のダイアログセットでトレーニングされたこのモデルのAPIコール予測は、評価において93.9%の精度で正し、対応する人間のラベルのレーティングを上回った。 データセットサイズが5000から21,000に増加するにつれて,API予測と応答生成のスコアが向上することを示す。 我々の分析は、事前学習の利点も明らかに示している。 この論文では、トランザクションベースのダイアログの今後の作業を容易にするため、TicketTalkデータセットを公開しています。

関連論文リスト

• PerSHOP -- A Persian dataset for shopping dialogue systems modeling [2.3025186469300434]
  我々はクラウドソーシングを通じてペルシア語で対話のデータセットを開発した。 このデータセットには、15の異なるドメインで22k近い発話と1061の対話が含まれている。 自然言語理解タスクのベースラインモデルをいくつか提案した。
  論文  参考訳（メタデータ） (2024-01-01T16:42:56Z)
• Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding [103.94325597273316]
  本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。 我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。 特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
  論文  参考訳（メタデータ） (2022-10-25T17:01:30Z)
• Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
  textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。 本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。 我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
  論文  参考訳（メタデータ） (2022-10-09T06:32:58Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• Dialog Inpainting: Turning Documents into Dialogs [12.131506050808207]
  私たちは2つのデータセットを作成し、1900万の多様な情報検索ダイアログを作成しました。 WikiDialogの回答の妥当性と会話性は、既存の手作業によるデータセットよりも優れているか、あるいは優れていると判断する。
  論文  参考訳（メタデータ） (2022-05-18T16:58:50Z)
• What is wrong with you?: Leveraging User Sentiment for Automatic Dialog Evaluation [73.03318027164605]
  本稿では,次のユーザの発話から自動的に抽出できる情報をプロキシとして利用して,前のシステム応答の質を測定することを提案する。 本モデルは,実際のユーザおよび有償ユーザから収集した音声と書面の両方のオープンドメインダイアログコーパスを一般化する。
  論文  参考訳（メタデータ） (2022-03-25T22:09:52Z)
• Dialog Simulation with Realistic Variations for Training Goal-Oriented Conversational Systems [14.206866126142002]
  ゴール指向のダイアログシステムにより、ユーザーは映画に関する情報をリクエストしたり、チケットを予約したりといった特定の目標を達成することができる。 本稿では,注釈付きダイアログとダイアログスキーマから,注釈付きダイアログの大規模なコーパスを自動生成する手法を提案する。 ベースラインダイアログ生成手法と比較して,ホールドアウトテストセットの50%の相対精度を実現した。
  論文  参考訳（メタデータ） (2020-11-16T19:39:15Z)
• Pchatbot: A Large-Scale Dataset for Personalized Chatbot [49.16746174238548]
  本稿では,Weibo と Judicial のフォーラムから収集した2つのサブセットを含む大規模対話データセットである Pchatbot を紹介する。 生データセットを対話システムに適応させるため、匿名化などのプロセスを通じて生データセットを精巧に正規化する。 Pchatbotのスケールは、既存の中国のデータセットよりも大幅に大きく、データ駆動モデルの恩恵を受ける可能性がある。
  論文  参考訳（メタデータ） (2020-09-28T12:49:07Z)
• A Large-Scale Chinese Short-Text Conversation Dataset [77.55813366932313]
  大規模な中国語会話データセットLCCCについて,基本バージョン(680万対話),大バージョン(1120万対話)について述べる。 データセットの品質は、厳格なデータクリーニングパイプラインによって保証されます。 また,LCCC-baseとLCCC-largeで訓練された事前学習対話モデルもリリースした。
  論文  参考訳（メタデータ） (2020-08-10T08:12:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。