論文の概要: Know What I don't Know: Handling Ambiguous and Unanswerable Questions
for Text-to-SQL
- arxiv url: http://arxiv.org/abs/2212.08902v2
- Date: Fri, 19 May 2023 14:27:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 19:24:47.608486
- Title: Know What I don't Know: Handling Ambiguous and Unanswerable Questions
for Text-to-SQL
- Title(参考訳): 知らないことを知る:テキストからSQLへの曖昧で不可解な質問の扱い
- Authors: Bing Wang, Yan Gao, Zhoujun Li, Jian-Guang Lou
- Abstract要約: 既存のtext-to-Yourself は任意のユーザ質問に対して "plausible" クエリを生成する。
本稿では,不明瞭かつ解決不可能な例を自動的に生成する,シンプルで効果的な生成手法を提案する。
実験結果から,実例と生成例の両方において,本モデルが最も優れた結果が得られることが示された。
- 参考スコア(独自算出の注目度): 36.5089235153207
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The task of text-to-SQL aims to convert a natural language question into its
corresponding SQL query within the context of relational tables. Existing
text-to-SQL parsers generate a "plausible" SQL query for an arbitrary user
question, thereby failing to correctly handle problematic user questions. To
formalize this problem, we conduct a preliminary study on the observed
ambiguous and unanswerable cases in text-to-SQL and summarize them into 6
feature categories. Correspondingly, we identify the causes behind each
category and propose requirements for handling ambiguous and unanswerable
questions. Following this study, we propose a simple yet effective
counterfactual example generation approach that automatically produces
ambiguous and unanswerable text-to-SQL examples. Furthermore, we propose a
weakly supervised DTE (Detecting-Then-Explaining) model for error detection,
localization, and explanation. Experimental results show that our model
achieves the best result on both real-world examples and generated examples
compared with various baselines. We release our data and code at:
\href{https://github.com/wbbeyourself/DTE}{https://github.com/wbbeyourself/DTE}.
- Abstract(参考訳): テキストからSQLへのタスクは、自然言語の質問をリレーショナルテーブルのコンテキスト内で対応するSQLクエリに変換することを目的としている。
既存のテキストからSQLへのパーサは任意のユーザ質問に対して"楽観的な"SQLクエリを生成します。
この問題を形式化するために,テキスト・トゥ・SQLにおける不明瞭・不確実な事例について予備研究を行い,それらを6つの特徴カテゴリにまとめる。
それに応じて,各カテゴリの背後にある原因を特定し,あいまいで不可解な質問を扱うための要件を提案する。
そこで本研究では,不明瞭かつ不確実なテキスト対SQLのサンプルを自動生成する,単純な反実例生成手法を提案する。
さらに、誤り検出、局所化、説明のための弱い教師付きDTE(Detecting-Then-Explaining)モデルを提案する。
実験の結果,実世界の実例と生成した実例の両方において,本モデルが最良となることがわかった。
私たちは、以下のデータとコードをリリースします。 \href{https://github.com/wbbeyourself/DTE}{https://github.com/wbbeyourself/DTE}。
関連論文リスト
- Decoupling SQL Query Hardness Parsing for Text-to-SQL [2.30258928355895]
本稿では,問合せ難易度解析の分離に基づくテキスト対結合のための革新的なフレームワークを提案する。
このフレームワークは、質問やスキーマを分析することで、クエリの難しさに基づいて、Text-to-coupleタスクを分離し、マルチハーネスタスクを単一ハーネスチャレンジに単純化する。
論文 参考訳(メタデータ) (2023-12-11T07:20:46Z) - On Repairing Natural Language to SQL Queries [2.5442795971328307]
テキスト・ツー・ツールが正しいクエリーを返すことができないときの分析を行う。
返されるクエリが正しいクエリに近い場合がよくあります。
突然変異に基づく手法を用いて、これらの故障クエリを修復することを提案する。
論文 参考訳(メタデータ) (2023-10-05T19:50:52Z) - Retrieval-augmented GPT-3.5-based Text-to-SQL Framework with
Sample-aware Prompting and Dynamic Revision Chain [21.593701177605652]
サンプルと動的リビジョンチェーンを含むテキスト・ツー・アウェア・プロンプト・フレームワークを提案する。
提案手法は,質問項目のサンプルと詳細な情報を含む。
人間の介入なしに実行可能で正確なスクルを生成するために、我々は、きめ細かいフィードバックを反復的に適応する動的リビジョンチェーンを設計する。
論文 参考訳(メタデータ) (2023-07-11T07:16:22Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳(メタデータ) (2023-05-25T17:19:52Z) - Prompting GPT-3.5 for Text-to-SQL with De-semanticization and Skeleton
Retrieval [17.747079214502673]
Text-to-は、自然言語の質問を構造化されたクエリ言語()に変換し、データベースから情報を取得するタスクである。
本稿では,テキスト・トゥ・テキストのための LLM ベースのフレームワークを提案する。
我々は,疑問骨格を抽出する非意味化機構を設計し,その構造的類似性に基づいて類似した例を検索する。
論文 参考訳(メタデータ) (2023-04-26T06:02:01Z) - Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。
このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
論文 参考訳(メタデータ) (2022-10-23T09:21:27Z) - A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future
Directions [102.8606542189429]
テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。
ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
論文 参考訳(メタデータ) (2022-08-29T14:24:13Z) - Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open
Domain Question Answering [78.9863753810787]
世界の知識は構造化データベースに保存されている。
クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
論文 参考訳(メタデータ) (2021-08-05T22:04:13Z) - Did You Ask a Good Question? A Cross-Domain Question Intention
Classification Benchmark for Text-to-SQL [32.946103197082124]
Triageは、最初のクロスドメインテキストツークエスト分類ベンチマークである。
4種類の解答不可能な質問と解答可能な質問を区別するモデルが必要である。
RoBERTaモデルは、テストセット上で60%のF1スコアを達成する。
論文 参考訳(メタデータ) (2020-10-23T19:36:57Z) - Photon: A Robust Cross-Domain Text-to-SQL System [189.1405317853752]
私たちは、マッピングを即座に決定できない自然言語入力にフラグを付けることができる、堅牢でモジュール化されたクロスドメインなNLIDBPhotonを紹介します。
提案手法は,翻訳不能なユーザ入力に対して,テキストからネイティブシステムへのロバストさを効果的に向上させる。
論文 参考訳(メタデータ) (2020-07-30T07:44:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。