論文の概要: Know What I don't Know: Handling Ambiguous and Unanswerable Questions for Text-to-SQL

• arxiv url: http://arxiv.org/abs/2212.08902v2
• Date: Fri, 19 May 2023 14:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 19:24:47.608486
• Title: Know What I don't Know: Handling Ambiguous and Unanswerable Questions for Text-to-SQL
• Title（参考訳）: 知らないことを知る:テキストからSQLへの曖昧で不可解な質問の扱い
• Authors: Bing Wang, Yan Gao, Zhoujun Li, Jian-Guang Lou
• Abstract要約: 既存のtext-to-Yourself は任意のユーザ質問に対して "plausible" クエリを生成する。 本稿では,不明瞭かつ解決不可能な例を自動的に生成する,シンプルで効果的な生成手法を提案する。 実験結果から,実例と生成例の両方において,本モデルが最も優れた結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 36.5089235153207
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The task of text-to-SQL aims to convert a natural language question into its corresponding SQL query within the context of relational tables. Existing text-to-SQL parsers generate a "plausible" SQL query for an arbitrary user question, thereby failing to correctly handle problematic user questions. To formalize this problem, we conduct a preliminary study on the observed ambiguous and unanswerable cases in text-to-SQL and summarize them into 6 feature categories. Correspondingly, we identify the causes behind each category and propose requirements for handling ambiguous and unanswerable questions. Following this study, we propose a simple yet effective counterfactual example generation approach that automatically produces ambiguous and unanswerable text-to-SQL examples. Furthermore, we propose a weakly supervised DTE (Detecting-Then-Explaining) model for error detection, localization, and explanation. Experimental results show that our model achieves the best result on both real-world examples and generated examples compared with various baselines. We release our data and code at: \href{https://github.com/wbbeyourself/DTE}{https://github.com/wbbeyourself/DTE}.
• Abstract（参考訳）: テキストからSQLへのタスクは、自然言語の質問をリレーショナルテーブルのコンテキスト内で対応するSQLクエリに変換することを目的としている。 既存のテキストからSQLへのパーサは任意のユーザ質問に対して"楽観的な"SQLクエリを生成します。 この問題を形式化するために,テキスト・トゥ・SQLにおける不明瞭・不確実な事例について予備研究を行い,それらを6つの特徴カテゴリにまとめる。 それに応じて,各カテゴリの背後にある原因を特定し,あいまいで不可解な質問を扱うための要件を提案する。 そこで本研究では,不明瞭かつ不確実なテキスト対SQLのサンプルを自動生成する,単純な反実例生成手法を提案する。 さらに、誤り検出、局所化、説明のための弱い教師付きDTE(Detecting-Then-Explaining)モデルを提案する。 実験の結果,実世界の実例と生成した実例の両方において,本モデルが最良となることがわかった。 私たちは、以下のデータとコードをリリースします。 \href{https://github.com/wbbeyourself/DTE}{https://github.com/wbbeyourself/DTE}。

関連論文リスト

• PRACTIQ: A Practical Conversational Text-to-SQL dataset with Ambiguous and Unanswerable Queries [32.40808001281668]
  実際のユーザ質問は、複数の解釈で曖昧である場合もあれば、関連するデータが不足しているため、解決不可能である場合もあります。 本研究では,実際の対話型テキスト・テキスト・データセットを構築する。 我々は,最初のユーザ質問,明確化を求めるアシスタント応答,ユーザの明確化,およびアシスタントの明確化の4つのターンで会話を生成する。
  論文  参考訳（メタデータ） (2024-10-14T20:36:35Z)
• Decoupling SQL Query Hardness Parsing for Text-to-SQL [2.30258928355895]
  本稿では,問合せ難易度解析の分離に基づくテキスト対結合のための革新的なフレームワークを提案する。 このフレームワークは、質問やスキーマを分析することで、クエリの難しさに基づいて、Text-to-coupleタスクを分離し、マルチハーネスタスクを単一ハーネスチャレンジに単純化する。
  論文  参考訳（メタデータ） (2023-12-11T07:20:46Z)
• Retrieval-augmented GPT-3.5-based Text-to-SQL Framework with Sample-aware Prompting and Dynamic Revision Chain [21.593701177605652]
  サンプルと動的リビジョンチェーンを含むテキスト・ツー・アウェア・プロンプト・フレームワークを提案する。 提案手法は,質問項目のサンプルと詳細な情報を含む。 人間の介入なしに実行可能で正確なスクルを生成するために、我々は、きめ細かいフィードバックを反復的に適応する動的リビジョンチェーンを設計する。
  論文  参考訳（メタデータ） (2023-07-11T07:16:22Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• Prompting GPT-3.5 for Text-to-SQL with De-semanticization and Skeleton Retrieval [17.747079214502673]
  Text-to-は、自然言語の質問を構造化されたクエリ言語()に変換し、データベースから情報を取得するタスクである。 本稿では,テキスト・トゥ・テキストのための LLM ベースのフレームワークを提案する。 我々は,疑問骨格を抽出する非意味化機構を設計し,その構造的類似性に基づいて類似した例を検索する。
  論文  参考訳（メタデータ） (2023-04-26T06:02:01Z)
• Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
  本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。 このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T09:21:27Z)
• A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future Directions [102.8606542189429]
  テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。 ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
  論文  参考訳（メタデータ） (2022-08-29T14:24:13Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)
• Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering [78.9863753810787]
  世界の知識は構造化データベースに保存されている。 クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
  論文  参考訳（メタデータ） (2021-08-05T22:04:13Z)
• Did You Ask a Good Question? A Cross-Domain Question Intention Classification Benchmark for Text-to-SQL [32.946103197082124]
  Triageは、最初のクロスドメインテキストツークエスト分類ベンチマークである。 4種類の解答不可能な質問と解答可能な質問を区別するモデルが必要である。 RoBERTaモデルは、テストセット上で60%のF1スコアを達成する。
  論文  参考訳（メタデータ） (2020-10-23T19:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。