論文の概要: On the Structural Generalization in Text-to-SQL
- arxiv url: http://arxiv.org/abs/2301.04790v1
- Date: Thu, 12 Jan 2023 02:52:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 14:19:33.769772
- Title: On the Structural Generalization in Text-to-SQL
- Title(参考訳): Text-to-SQLにおける構造一般化について
- Authors: Jieyu Li, Lu Chen, Ruisheng Cao, Su Zhu, Hongshen Xu, Zhi Chen,
Hanchong Zhang, Kai Yu
- Abstract要約: データベーススキーマ(DS)の構造的多様性について検討する。
本稿では,新しいテキスト間構造データを生成するフレームワークを提案する。
合成試料を用いたテキスト・ツー・モデルの評価における顕著な性能低下
- 参考スコア(独自算出の注目度): 36.56043090037171
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Exploring the generalization of a text-to-SQL parser is essential for a
system to automatically adapt the real-world databases. Previous works provided
investigations focusing on lexical diversity, including the influence of the
synonym and perturbations in both natural language questions and databases.
However, research on the structure variety of database schema~(DS) is
deficient. Specifically, confronted with the same input question, the target
SQL is probably represented in different ways when the DS comes to a different
structure. In this work, we provide in-deep discussions about the structural
generalization of text-to-SQL tasks. We observe that current datasets are too
templated to study structural generalization. To collect eligible test data, we
propose a framework to generate novel text-to-SQL data via automatic and
synchronous (DS, SQL) pair altering. In the experiments, significant
performance reduction when evaluating well-trained text-to-SQL models on the
synthetic samples demonstrates the limitation of current research regarding
structural generalization. According to comprehensive analysis, we suggest the
practical reason is the overfitting of (NL, SQL) patterns.
- Abstract(参考訳): 現実のデータベースを自動的に適応させるためには,テキストからSQLへのパーサの一般化を探求することが不可欠である。
以前の研究は、自然言語質問とデータベースの両方における同義語と摂動の影響を含む、語彙の多様性に焦点を当てた調査を行った。
しかし、データベーススキーマ~(DS)の構造多様性の研究は不十分である。
特に、同じ入力問題に直面して、DSが別の構造となると、ターゲットSQLはおそらく異なる方法で表現される。
本稿では,テキストからsqlへのタスクの構造的一般化に関する深い議論を行う。
現在のデータセットは、構造的一般化を研究するにはテンプレート化されすぎている。
テストデータを取得するために,自動および同期(DS, SQL)ペア変更による新しいテキスト-SQLデータを生成するフレームワークを提案する。
実験では, 十分に訓練されたテキスト-SQLモデルの評価において, 構造一般化に関する現在の研究の限界が示される。
包括的分析によると、実際的な理由は(NL, SQL)パターンの過剰適合である。
関連論文リスト
- Evaluating the Data Model Robustness of Text-to-SQL Systems Based on
Real User Queries [4.343983685049737]
本論文は,テキスト・ツー・システムのデータモデルロバスト性について,実際に評価した最初の事例である。
サッカーDBはFIFAワールドカップ2022の文脈で9ヶ月にわたって展開されたシステムである。
データはすべて、システムにライブで質問された実際のユーザ質問に基づいています。これらの質問のサブセットを手動でラベル付けし、3つの異なるデータモデルに翻訳しました。
論文 参考訳(メタデータ) (2024-02-13T10:28:57Z) - Exploring the Compositional Generalization in Context Dependent
Text-to-SQL Parsing [14.644212594593919]
この研究は、文脈に依存したテクスト・トゥ・ザ・セサリオにおける作曲の一般化に関する最初の調査である。
実験によると、現在のモデルはすべて、提案されたベンチマークで苦労している。
テキスト・トゥ・ザ・セナリオの合成一般化を改善するために,textttp-align という手法を提案する。
論文 参考訳(メタデータ) (2023-05-29T12:36:56Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳(メタデータ) (2023-05-25T17:19:52Z) - Prompting GPT-3.5 for Text-to-SQL with De-semanticization and Skeleton
Retrieval [17.747079214502673]
Text-to-は、自然言語の質問を構造化されたクエリ言語()に変換し、データベースから情報を取得するタスクである。
本稿では,テキスト・トゥ・テキストのための LLM ベースのフレームワークを提案する。
我々は,疑問骨格を抽出する非意味化機構を設計し,その構造的類似性に基づいて類似した例を検索する。
論文 参考訳(メタデータ) (2023-04-26T06:02:01Z) - Importance of Synthesizing High-quality Data for Text-to-SQL Parsing [71.02856634369174]
最先端のテキストから重み付けアルゴリズムは、強化された合成データでトレーニングされた場合、一般的なベンチマークでは改善されなかった。
本稿では,スキーマから重要な関係を取り入れ,強い型付けを課し,スキーマ重み付きカラムサンプリングを行う新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-17T02:53:21Z) - Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。
このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
論文 参考訳(メタデータ) (2022-10-23T09:21:27Z) - Augmenting Multi-Turn Text-to-SQL Datasets with Self-Play [46.07002748587857]
我々は、コンテキスト情報を活用して新しいインタラクションを合成するセルフプレイによるトレーニングデータセットの強化について検討する。
本研究では,SParCとCoという2つの広く使われているテキスト・ドメイン・データセットの強いベースラインの精度を向上させることを発見した。
論文 参考訳(メタデータ) (2022-10-21T16:40:07Z) - STAR: SQL Guided Pre-Training for Context-dependent Text-to-SQL Parsing [64.80483736666123]
文脈依存型テキスト・ツー・パースのための新しい事前学習フレームワークSTARを提案する。
さらに,STARを事前学習するための大規模コンテキスト依存型テキスト対話コーパスを構築した。
大規模な実験により、STARは2つの下流ベンチマークで新しい最先端のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2022-10-21T11:30:07Z) - A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future
Directions [102.8606542189429]
テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。
ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
論文 参考訳(メタデータ) (2022-08-29T14:24:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。