論文の概要: The StatCan Dialogue Dataset: Retrieving Data Tables through
Conversations with Genuine Intents
- arxiv url: http://arxiv.org/abs/2304.01412v2
- Date: Wed, 5 Apr 2023 01:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 14:43:20.794578
- Title: The StatCan Dialogue Dataset: Retrieving Data Tables through
Conversations with Genuine Intents
- Title（参考訳）: statcan dialogue dataset: 真の意図による会話によるデータテーブルの検索
- Authors: Xing Han Lu, Siva Reddy, Harm de Vries
- Abstract要約: StatCan Dialogueデータセットは、Statistics Canadaで働くエージェントと、公開されたデータテーブルを探しているオンラインユーザの間の19,379の会話ターンで構成されている。
本研究では,(1)現在進行中の会話に基づいて関連するテーブルを自動的に検索し,(2)各ターンで適切なエージェント応答を自動生成する2つのタスクを提案する。
- 参考スコア（独自算出の注目度）: 26.2497150683291
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the StatCan Dialogue Dataset consisting of 19,379 conversation
turns between agents working at Statistics Canada and online users looking for
published data tables. The conversations stem from genuine intents, are held in
English or French, and lead to agents retrieving one of over 5000 complex data
tables. Based on this dataset, we propose two tasks: (1) automatic retrieval of
relevant tables based on a on-going conversation, and (2) automatic generation
of appropriate agent responses at each turn. We investigate the difficulty of
each task by establishing strong baselines. Our experiments on a temporal data
split reveal that all models struggle to generalize to future conversations, as
we observe a significant drop in performance across both tasks when we move
from the validation to the test set. In addition, we find that response
generation models struggle to decide when to return a table. Considering that
the tasks pose significant challenges to existing models, we encourage the
community to develop models for our task, which can be directly used to help
knowledge workers find relevant tables for live chat users.
- Abstract（参考訳）: 我々は、StatCan Dialogue Datasetを導入し、カナダ統計局で働いているエージェントと、公開データテーブルを探しているオンラインユーザとの間で19,379の会話を交わした。
会話は本質的な意図に起因し、英語やフランス語で行われ、5000以上の複雑なデータテーブルの1つを取得するエージェントに繋がる。
このデータセットに基づいて,(1)現在進行中の会話に基づく関連表の自動検索,(2)各ターンにおける適切なエージェント応答の自動生成の2つのタスクを提案する。
我々は,強いベースラインを確立することで各タスクの難しさを調査する。
時間的データ分割の実験では、検証からテストセットに移行するとき、両方のタスク間でパフォーマンスが大幅に低下するのを観察するため、すべてのモデルが将来の会話に一般化するのに苦労していることが明らかになりました。
さらに、応答生成モデルは、いつテーブルを返すかを決定するのに苦労している。
タスクが既存のモデルに重大な課題をもたらすことを考慮し、私たちはコミュニティにタスクのためのモデル開発を奨励します。
関連論文リスト
- TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。
TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。
既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。
現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
論文 参考訳（メタデータ） (2024-06-05T20:32:56Z) - TANQ: An open domain dataset of table answered questions [15.323690523538572]
TANQは、複数のソースにまたがる情報からテーブルを構築する必要がある、最初のオープンドメイン質問応答データセットである。
結果の表にあるすべてのセルに対する完全なソース属性を公開し、オープン、オラクル、クローズドブックのセットアップで最先端の言語モデルをベンチマークします。
最も優れたベースラインであるGPT4は、全体的なF1スコア29.1に達し、人間のパフォーマンスを19.7ポイント遅れています。
論文 参考訳（メタデータ） (2024-05-13T14:07:20Z) - Bridging the Gap: Deciphering Tabular Data Using Large Language Model [4.711941969101732]
この研究は、テーブルベースの質問応答タスクへの大規模言語モデルの初めての応用である。
拡張言語モデルとのシームレスな統合のために,テーブルのシリアライズに特有なモジュールを設計しました。
論文 参考訳（メタデータ） (2023-08-23T03:38:21Z) - QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。
そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。
このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
論文 参考訳（メタデータ） (2023-05-23T17:43:51Z) - PRESTO: A Multilingual Dataset for Parsing Realistic Task-Oriented
Dialogs [39.58414649004708]
PRESTOは、人間と仮想アシスタント間の550万以上のコンテキスト多言語会話のデータセットである。
現実のNLUタスクで発生する問題、例えば、障害、コードスイッチング、リビジョンなどが含まれる。
我々のmT5モデルに基づくベースラインは、PRESTOに存在する会話現象をモデル化することが困難であることを示している。
論文 参考訳（メタデータ） (2023-03-15T21:51:13Z) - Weakly Supervised Data Augmentation Through Prompting for Dialogue
Understanding [103.94325597273316]
本稿では,弱教師付きフィルタを適用して拡張品質を反復する手法を提案する。
我々は、デイリーダイアログにおける感情と行動の分類タスクと、Facebook Multilingual Task-Oriented Dialogueにおける意図の分類タスクについて評価した。
特にDailyDialogでは、真理データの10%を使用して、100%のデータを使用する現在の最先端モデルよりも優れています。
論文 参考訳（メタデータ） (2022-10-25T17:01:30Z) - KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。
本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
論文 参考訳（メタデータ） (2022-05-11T16:01:03Z) - Training Conversational Agents with Generative Conversational Networks [74.9941330874663]
我々は、生成会話ネットワークを使用して、自動的にデータを生成し、社会的会話エージェントを訓練する。
自動メトリクスと人的評価器を用いてTopicalChatのアプローチを評価し、10%のシードデータで100%のデータを使用するベースラインに近いパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-15T21:46:39Z) - Simulated Chats for Building Dialog Systems: Learning to Generate
Conversations from Instructions [14.47025580681492]
本稿では、事前訓練された言語モデルであるGPT2を用いて、ユーザボットとエージェントボットを作成することによって、群衆労働者間のインタラクションをシミュレートするデータ生成戦略を提案する。
シミュレーションデータを使用することで、2つの公開データセット上での低リソース設定を大幅に改善できることを実証する。
論文 参考訳（メタデータ） (2020-10-20T12:04:19Z) - GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。
我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。
実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
論文 参考訳（メタデータ） (2020-09-29T08:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。