論文の概要: UNITE: A Unified Benchmark for Text-to-SQL Evaluation
- arxiv url: http://arxiv.org/abs/2305.16265v1
- Date: Thu, 25 May 2023 17:19:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 13:32:58.336740
- Title: UNITE: A Unified Benchmark for Text-to-SQL Evaluation
- Title（参考訳）: UNITE: テキストからSQL評価のための統一ベンチマーク
- Authors: Wuwei Lan, Zhiguo Wang, Anuj Chauhan, Henghui Zhu, Alexander Li, Jiang
Guo, Sheng Zhang, Chung-Wei Hang, Joseph Lilien, Yiqun Hu, Lin Pan, Mingwen
Dong, Jun Wang, Jiarong Jiang, Stephen Ash, Vittorio Castelli, Patrick Ng and
Bing Xiang
- Abstract要約: textbfText-to- domain textbfE (UNITE) のための textbfUNIfied ベンチマークを導入する。
公開されているテキストからデータセットで構成されており、12以上のドメインからの自然言語に関する質問が含まれている。
広く使われているスパイダーベンチマーク citeyu-etal-2018-spider と比較して、$sim$120K の追加例を紹介する。
- 参考スコア（独自算出の注目度）: 72.72040379293718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A practical text-to-SQL system should generalize well on a wide variety of
natural language questions, unseen database schemas, and novel SQL query
structures. To comprehensively evaluate text-to-SQL systems, we introduce a
\textbf{UNI}fied benchmark for \textbf{T}ext-to-SQL \textbf{E}valuation
(UNITE). It is composed of publicly available text-to-SQL datasets, containing
natural language questions from more than 12 domains, SQL queries from more
than 3.9K patterns, and 29K databases. Compared to the widely used Spider
benchmark \cite{yu-etal-2018-spider}, we introduce $\sim$120K additional
examples and a threefold increase in SQL patterns, such as comparative and
boolean questions. We conduct a systematic study of six state-of-the-art (SOTA)
text-to-SQL parsers on our new benchmark and show that: 1) Codex performs
surprisingly well on out-of-domain datasets; 2) specially designed decoding
methods (e.g. constrained beam search) can improve performance for both
in-domain and out-of-domain settings; 3) explicitly modeling the relationship
between questions and schemas further improves the Seq2Seq models. More
importantly, our benchmark presents key challenges towards compositional
generalization and robustness issues -- which these SOTA models cannot address
well.
- Abstract（参考訳）: 実用的なテキスト-SQLシステムは、さまざまな自然言語の質問、見えないデータベーススキーマ、新しいSQLクエリ構造をうまく一般化する必要がある。
テキストからSQLまでを総合的に評価するために, textbf{T}ext-to-SQL \textbf{E}valuation (UNITE) のための \textbf{UNI}fied ベンチマークを導入する。
12ドメイン以上の自然言語質問、3.9Kパターン以上のSQLクエリ、29Kデータベースを含む、公開されているテキストからSQLまでのデータセットで構成されている。
広く使われているSpiderベンチマークであるcite{yu-etal-2018-spider}と比較して、$\sim$120Kの追加例と比較やブール問題などのSQLパターンの3倍の増加を紹介します。
我々は、新しいベンチマークで6つの最先端(SOTA)テキスト-SQLパーサの体系的研究を行い、そのことを示す。
1) Codexはドメイン外のデータセットで驚くほどよく機能します。
2) 特別に設計された復号法(例えば制約ビーム探索)は、ドメイン内設定と外部設定の両方のパフォーマンスを向上させることができる。
3) 質問とスキーマの関係を明示的にモデル化することで、Seq2Seqモデルをさらに改善する。
さらに重要なことは、我々のベンチマークは構成の一般化とロバストネスの問題に対する重要な課題を示しており、これらSOTAモデルはうまく対応できない。
関連論文リスト
- SQLformer: Deep Auto-Regressive Query Graph Generation for Text-to-SQL Translation [16.07396492960869]
本稿では,テキストからテキストへの変換処理に特化して設計されたトランスフォーマーアーキテクチャを提案する。
我々のモデルは、実行可能層とデコーダ層に構造的帰納バイアスを組み込んで、クエリを自動で抽象構文木(AST)として予測する。
論文 参考訳（メタデータ） (2023-10-27T00:13:59Z) - Benchmarking and Improving Text-to-SQL Generation under Ambiguity [25.283118418288293]
我々はAmbiQTと呼ばれる新しいベンチマークを開発し、各テキストは語彙的および/または構造的あいまいさのために2つのもっともらしいSQLとして解釈できる。
提案するLogicalBeamは,計画ベースのテンプレート生成と制約付きインフィルを併用して,sql論理空間をナビゲートする新しい復号アルゴリズムである。
論文 参考訳（メタデータ） (2023-10-20T17:00:53Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - Can LLM Already Serve as A Database Interface? A BIg Bench for
Large-Scale Database Grounded Text-to-SQLs [89.68522473384522]
テキストから効率のよいタスクをベースとした大規模データベースのための大規模なベンチマークであるBirdを紹介します。
データベースの値に重点を置いていると、汚いデータベースコンテンツに対する新たな課題が浮き彫りになる。
最も効果的なテキストから効率のよいモデルであるChatGPTでさえ、実行精度はわずか40.08%である。
論文 参考訳（メタデータ） (2023-05-04T19:02:29Z) - Prompting GPT-3.5 for Text-to-SQL with De-semanticization and Skeleton
Retrieval [17.747079214502673]
Text-to-は、自然言語の質問を構造化されたクエリ言語()に変換し、データベースから情報を取得するタスクである。
本稿では,テキスト・トゥ・テキストのための LLM ベースのフレームワークを提案する。
我々は,疑問骨格を抽出する非意味化機構を設計し,その構造的類似性に基づいて類似した例を検索する。
論文 参考訳（メタデータ） (2023-04-26T06:02:01Z) - Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。
このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
論文 参考訳（メタデータ） (2022-10-23T09:21:27Z) - A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future
Directions [102.8606542189429]
テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。
ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
論文 参考訳（メタデータ） (2022-08-29T14:24:13Z) - Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
我々は最近提案されたQDMR(QDMR)という意味表現を活用している。
質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。
本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
論文 参考訳（メタデータ） (2021-12-12T20:02:42Z) - Data Augmentation with Hierarchical SQL-to-Question Generation for
Cross-domain Text-to-SQL Parsing [40.65143087243074]
本稿では,単純なデータ拡張フレームワークを提案する。
まず、データベースを与えられたら、抽象構文木文法citeyintranxに基づいて大量のsqlクエリを自動的に生成します。
第2に,高品質自然言語問題を得るための階層的sql-to-question生成モデルを提案する。
論文 参考訳（メタデータ） (2021-03-03T07:37:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。