論文の概要: PRACTIQ: A Practical Conversational Text-to-SQL dataset with Ambiguous and Unanswerable Queries

• arxiv url: http://arxiv.org/abs/2410.11076v1
• Date: Mon, 14 Oct 2024 20:36:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:13.153781
• Title: PRACTIQ: A Practical Conversational Text-to-SQL dataset with Ambiguous and Unanswerable Queries
• Title（参考訳）: PRACTIQ: 曖昧で解決不可能なクエリを備えた実践的な会話型テキスト-SQLデータセット
• Authors: Mingwen Dong, Nischal Ashok Kumar, Yiqun Hu, Anuj Chauhan, Chung-Wei Hang, Shuaichen Chang, Lin Pan, Wuwei Lan, Henghui Zhu, Jiarong Jiang, Patrick Ng, Zhiguo Wang,
• Abstract要約: 実際のユーザ質問は、複数の解釈で曖昧である場合もあれば、関連するデータが不足しているため、解決不可能である場合もあります。 本研究では,実際の対話型テキスト・テキスト・データセットを構築する。 我々は,最初のユーザ質問,明確化を求めるアシスタント応答,ユーザの明確化,およびアシスタントの明確化の4つのターンで会話を生成する。
• 参考スコア（独自算出の注目度）: 32.40808001281668
• License:
• Abstract: Previous text-to-SQL datasets and systems have primarily focused on user questions with clear intentions that can be answered. However, real user questions can often be ambiguous with multiple interpretations or unanswerable due to a lack of relevant data. In this work, we construct a practical conversational text-to-SQL dataset called PRACTIQ, consisting of ambiguous and unanswerable questions inspired by real-world user questions. We first identified four categories of ambiguous questions and four categories of unanswerable questions by studying existing text-to-SQL datasets. Then, we generate conversations with four turns: the initial user question, an assistant response seeking clarification, the user's clarification, and the assistant's clarified SQL response with the natural language explanation of the execution results. For some ambiguous queries, we also directly generate helpful SQL responses, that consider multiple aspects of ambiguity, instead of requesting user clarification. To benchmark the performance on ambiguous, unanswerable, and answerable questions, we implemented large language model (LLM)-based baselines using various LLMs. Our approach involves two steps: question category classification and clarification SQL prediction. Our experiments reveal that state-of-the-art systems struggle to handle ambiguous and unanswerable questions effectively. We will release our code for data generation and experiments on GitHub.
• Abstract（参考訳）: これまでのテキストからSQLへのデータセットとシステムは、主に答えられる明確な意図を持ったユーザの質問に焦点を合わせてきた。 しかし、実際のユーザ質問は、複数の解釈で曖昧である場合や、関連するデータが欠如しているため、解決不可能である場合が多い。 本研究では,現実世界のユーザ質問に触発された不明瞭で解決不可能な質問からなる,PRACTIQと呼ばれる実用的な対話型テキスト-SQLデータセットを構築した。 まず,従来のテキスト・トゥ・SQLデータセットを用いて,曖昧な質問の4つのカテゴリと疑わしい質問の4つのカテゴリを特定した。 次に,最初のユーザ質問,ユーザの明確化を求めるアシスタント応答,ユーザの明確化,および実行結果の自然言語説明によるアシスタントのSQL応答の4つのターンで会話を生成する。 曖昧なクエリについては、ユーザを明確に要求するのではなく、曖昧さの複数の側面を考慮したSQLレスポンスを直接生成します。 曖昧で解決不可能な質問に対して性能をベンチマークするために,LLMを用いて大規模言語モデル(LLM)ベースのベースラインを実装した。 我々のアプローチには、質問分類とSQL予測の2つのステップがある。 我々の実験によると、最先端のシステムは曖昧で解決不可能な質問を効果的に扱うのに苦労している。 データ生成と実験のためのコードをGitHubでリリースします。

関連論文リスト

• AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries [56.82807063333088]
  我々は,新たなベンチマークであるAMBROSIAを導入し,テキスト・ツー・オープン・プログラムの開発を促進することを期待する。 私たちのデータセットには、3種類のあいまいさ(スコープのあいまいさ、アタッチメントのあいまいさ、あいまいさ)を示す質問が含まれている。 いずれの場合も、データベースのコンテキストが提供されてもあいまいさは持続する。 これは、スクラッチからデータベースを制御して生成する、新しいアプローチによって実現される。
  論文  参考訳（メタデータ） (2024-06-27T10:43:04Z)
• Retrieval-augmented GPT-3.5-based Text-to-SQL Framework with Sample-aware Prompting and Dynamic Revision Chain [21.593701177605652]
  サンプルと動的リビジョンチェーンを含むテキスト・ツー・アウェア・プロンプト・フレームワークを提案する。 提案手法は,質問項目のサンプルと詳細な情報を含む。 人間の介入なしに実行可能で正確なスクルを生成するために、我々は、きめ細かいフィードバックを反復的に適応する動的リビジョンチェーンを設計する。
  論文  参考訳（メタデータ） (2023-07-11T07:16:22Z)
• Semantic Parsing for Conversational Question Answering over Knowledge Graphs [63.939700311269156]
  本研究では,ユーザの質問にSparqlパースとアノテートし,システム回答が実行結果に対応するデータセットを開発する。 本稿では,2つの意味解析手法を提案し,その課題を強調した。 私たちのデータセットとモデルはhttps://github.com/Edinburgh/SPICE.orgで公開されています。
  論文  参考訳（メタデータ） (2023-01-28T14:45:11Z)
• Know What I don't Know: Handling Ambiguous and Unanswerable Questions for Text-to-SQL [36.5089235153207]
  既存のtext-to-Yourself は任意のユーザ質問に対して "plausible" クエリを生成する。 本稿では,不明瞭かつ解決不可能な例を自動的に生成する,シンプルで効果的な生成手法を提案する。 実験結果から,実例と生成例の両方において,本モデルが最も優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-12-17T15:32:00Z)
• A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future Directions [102.8606542189429]
  テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。 ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
  論文  参考訳（メタデータ） (2022-08-29T14:24:13Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)
• Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering [78.9863753810787]
  世界の知識は構造化データベースに保存されている。 クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
  論文  参考訳（メタデータ） (2021-08-05T22:04:13Z)
• "What Do You Mean by That?" A Parser-Independent Interactive Approach for Enhancing Text-to-SQL [49.85635994436742]
  ループ内に人間を包含し,複数質問を用いてユーザと対話する,新規非依存型対話型アプローチ(PIIA)を提案する。 PIIAは、シミュレーションと人的評価の両方を用いて、限られたインタラクションターンでテキストとドメインのパフォーマンスを向上させることができる。
  論文  参考訳（メタデータ） (2020-11-09T02:14:33Z)
• Did You Ask a Good Question? A Cross-Domain Question Intention Classification Benchmark for Text-to-SQL [32.946103197082124]
  Triageは、最初のクロスドメインテキストツークエスト分類ベンチマークである。 4種類の解答不可能な質問と解答可能な質問を区別するモデルが必要である。 RoBERTaモデルは、テストセット上で60%のF1スコアを達成する。
  論文  参考訳（メタデータ） (2020-10-23T19:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。