論文の概要: Leveraging Table Content for Zero-shot Text-to-SQL with Meta-Learning
- arxiv url: http://arxiv.org/abs/2109.05395v1
- Date: Sun, 12 Sep 2021 01:01:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-17 06:57:25.622975
- Title: Leveraging Table Content for Zero-shot Text-to-SQL with Meta-Learning
- Title（参考訳）: メタ学習によるゼロショットテキストからSQLへのテーブルコンテンツ活用
- Authors: Yongrui Chen, Xinnan Guo, Chaojie Wang, Jian Qiu, Guilin Qi, Meng
Wang, Huiying Li
- Abstract要約: 単一テーブルのテキスト・トゥ・ワンは、自然言語の質問を単一のテーブルに従ってクエリに変換することを目的としている。
我々は、追加のマニュアルアノテーションに依存しないゼロショットテキスト・ツー・ワンタスクに対して、新しいアプローチを提案する。
パブリックなオープンドメインのテキスト・ツー・ワン・データセットとドメイン固有のデータセットEについて広範な実験を行った。
- 参考スコア（独自算出の注目度）: 25.69875174742935
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Single-table text-to-SQL aims to transform a natural language question into a
SQL query according to one single table. Recent work has made promising
progress on this task by pre-trained language models and a multi-submodule
framework. However, zero-shot table, that is, the invisible table in the
training set, is currently the most critical bottleneck restricting the
application of existing approaches to real-world scenarios. Although some work
has utilized auxiliary tasks to help handle zero-shot tables, expensive extra
manual annotation limits their practicality. In this paper, we propose a new
approach for the zero-shot text-to-SQL task which does not rely on any
additional manual annotations. Our approach consists of two parts. First, we
propose a new model that leverages the abundant information of table content to
help establish the mapping between questions and zero-shot tables. Further, we
propose a simple but efficient meta-learning strategy to train our model. The
strategy utilizes the two-step gradient update to force the model to learn a
generalization ability towards zero-shot tables. We conduct extensive
experiments on a public open-domain text-to-SQL dataset WikiSQL and a
domain-specific dataset ESQL. Compared to existing approaches using the same
pre-trained model, our approach achieves significant improvements on both
datasets. Compared to the larger pre-trained model and the tabular-specific
pre-trained model, our approach is still competitive. More importantly, on the
zero-shot subsets of both the datasets, our approach further increases the
improvements.
- Abstract（参考訳）: シングルテーブルのテキスト-to-SQLは、自然言語の質問を単一のテーブルに従ってSQLクエリに変換することを目的としている。
最近の作業は、事前学習された言語モデルとマルチサブモジュールフレームワークによって、このタスクに有望な進歩を遂げている。
しかし、ゼロショットテーブル、すなわちトレーニングセットの目に見えないテーブルは、現在、既存のアプローチを現実のシナリオに適用することを制限する最も重要なボトルネックである。
ゼロショットテーブルの処理に補助的なタスクを用いた作業もあるが、高価な手作業によるアノテーションは実用性を制限している。
本稿では,追加のマニュアルアノテーションに依存しないゼロショットテキストからsqlへのタスクに対する新しいアプローチを提案する。
我々のアプローチは2つの部分からなる。
まず、質問とゼロショットテーブル間のマッピングを確立するために、テーブルコンテンツの豊富な情報を活用する新しいモデルを提案する。
さらに,モデル学習のための簡易かつ効率的なメタラーニング戦略を提案する。
この戦略は、2段階の勾配更新を利用して、モデルをゼロショットテーブルへの一般化能力を学習させる。
オープンドメインのテキスト-SQLデータセットWikiSQLと、ドメイン固有のデータセットESQLについて広範な実験を行う。
同じ事前学習モデルを用いた既存手法と比較して,本手法は両方のデータセットで大幅に改善されている。
より大きな事前学習モデルと表特化事前学習モデルと比較すると,我々のアプローチはいまだに競争力がある。
さらに重要なことは、両方のデータセットのゼロショットサブセットにおいて、我々のアプローチはさらに改善を増加させます。
関連論文リスト
- LaTable: Towards Large Tabular Models [63.995130144110156]
タブラル生成基盤モデルは、異なるデータセットの不均一な特徴空間のために構築が困難である。
LaTableは、これらの課題に対処し、異なるデータセットでトレーニング可能な、新しい拡散モデルである。
LaTableは、分散生成のベースラインよりも優れており、微調整されたLaTableは、より少ないサンプルで分散データセットをより良く生成できる。
論文 参考訳（メタデータ） (2024-06-25T16:03:50Z) - AnnotatedTables: A Large Tabular Dataset with Language Model Annotations [8.602181445598776]
本稿では,多種多様な表データのアノテーションを機械学習で自動生成する方法を示す。
LLM生成アノテーションを備えた32,119のデータベースのコレクションであるAnnotatedTablesをリリースしました。
LLMによって同定された入力ターゲット列を持つ2,720のテーブル上で,ベイジアン事前訓練を行った最近のニューラルネットワーク分類器であるTabPFNの性能評価を行った。
論文 参考訳（メタデータ） (2024-06-24T06:44:14Z) - Testing the Limits of Unified Sequence to Sequence LLM Pretraining on
Diverse Table Data Tasks [2.690048852269647]
本研究では、770Mから11Bのシーケンスからシーケンスモデルにスケールする際のテーブル特定事前学習に対する統一的なアプローチの利点について検討する。
我々の研究は、770Mから11Bのシーケンスからシーケンスモデルにスケールする際、テーブル固有の事前訓練に対する統一的なアプローチの利点を研究する最初の試みである。
論文 参考訳（メタデータ） (2023-10-01T21:06:15Z) - Few-Shot Data-to-Text Generation via Unified Representation and
Multi-Source Learning [114.54944761345594]
本稿では,既存の手法の限界に対処する構造化データ・テキスト生成手法を提案する。
提案手法は,マルチタスクトレーニング,ゼロショット,少数ショットシナリオの性能向上を目的としている。
論文 参考訳（メタデータ） (2023-08-10T03:09:12Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for
Cross-lingual Text-to-SQL Semantic Parsing [70.40401197026925]
大規模言語モデルを用いたインコンテキスト学習は、最近セマンティック解析タスクの驚くべき結果を示している。
この研究は、あるクエリに対して関連する英語の例を検索する学習を行うXRICLフレームワークを導入している。
また、大規模言語モデルの翻訳プロセスを容易にするために、対象言語に対するグローバルな翻訳例も含んでいる。
論文 参考訳（メタデータ） (2022-10-25T01:33:49Z) - Augmenting Multi-Turn Text-to-SQL Datasets with Self-Play [46.07002748587857]
我々は、コンテキスト情報を活用して新しいインタラクションを合成するセルフプレイによるトレーニングデータセットの強化について検討する。
本研究では,SParCとCoという2つの広く使われているテキスト・ドメイン・データセットの強いベースラインの精度を向上させることを発見した。
論文 参考訳（メタデータ） (2022-10-21T16:40:07Z) - Making Table Understanding Work in Practice [9.352813774921655]
表理解モデルをデプロイする上での3つの課題について論じ,それに対応するためのフレームワークを提案する。
本稿では、GitTablesでトレーニングされたハイブリッドモデルをカプセル化し、軽量なHuman-in-the-loopアプローチを統合してモデルをカスタマイズするSigmaTyperを提案する。
論文 参考訳（メタデータ） (2021-09-11T03:38:24Z) - IGSQL: Database Schema Interaction Graph Based Neural Model for
Context-Dependent Text-to-SQL Generation [61.09660709356527]
本稿では,データベーススキーマインタラクショングラフエンコーダを提案し,データベーススキーマ項目の履歴情報を利用する。
ベンチマークSParCおよびCoデータセットを用いて,本モデルの評価を行った。
論文 参考訳（メタデータ） (2020-11-11T12:56:21Z) - GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。
我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。
実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
論文 参考訳（メタデータ） (2020-09-29T08:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。