論文の概要: SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL
- arxiv url: http://arxiv.org/abs/2306.00739v3
- Date: Sun, 25 Jun 2023 06:44:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 22:22:14.858596
- Title: SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL
- Title(参考訳): SQL-PaLM: テキストからSQLへの大規模言語モデル適応の改善
- Authors: Ruoxi Sun, Sercan O. Arik, Hootan Nakhost, Hanjun Dai, Rajarishi
Sinha, Pengcheng Yin, Tomas Pfister
- Abstract要約: 本稿では,LLMに基づくテキスト・ツー・スーツ・モデルを提案する。
実行ベースの自己整合性プロンプトアプローチに基づくSQL-PaLMはほとんどないが、まずは、微調整で従来の最先端技術を上回るパフォーマンスを実現する。
- 参考スコア(独自算出の注目度): 42.140521614846
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: One impressive emergent capability of large language models (LLMs) is
generation of code, including Structured Query Language (SQL) for databases.
For the task of converting natural language text to SQL queries, Text-to-SQL,
adaptation of LLMs is of paramount importance, both in in-context learning and
fine-tuning settings, depending on the amount of adaptation data used. In this
paper, we propose an LLM-based Text-to-SQL model SQL-PaLM, leveraging on
PaLM-2, that pushes the state-of-the-art in both settings. Few-shot SQL-PaLM is
based on an execution-based self-consistency prompting approach designed for
Text-to-SQL, and achieves 77.3% in test-suite accuracy on Spider, which to our
best knowledge is the first to outperform previous state-of-the-art with
fine-tuning by a significant margin, 4%. Furthermore, we demonstrate that the
fine-tuned SQL-PALM outperforms it further by another 1%. Towards applying
SQL-PaLM to real-world scenarios we further evaluate its robustness on other
challenging variants of Spider and demonstrate the superior generalization
capability of SQL-PaLM. In addition, via extensive case studies, we demonstrate
the impressive intelligent capabilities and various success enablers of
LLM-based Text-to-SQL.
- Abstract(参考訳): 大きな言語モデル(LLM)の目覚ましい機能の1つは、データベース用の構造化クエリ言語(SQL)を含むコードの生成である。
自然言語テキストをSQLクエリに変換するタスクでは、テキストからSQLへの変換、LLMの適応は、使用する適応データ量に応じて、コンテキスト内学習と微調整設定の両方において最重要となる。
本稿では,PaLM-2 を利用した LLM ベースの Text-to-SQL モデル SQL-PaLM を提案する。
Few-shot SQL-PaLMは、Text-to-SQL用に設計された実行ベースの自己整合性プロンプトアプローチに基づいており、Spiderで77.3%の精度を実現している。
さらに、微調整SQL-PALMがさらに1%向上することを示した。
SQL-PaLMを現実のシナリオに適用する上で、他の課題であるSpiderの堅牢性をさらに評価し、SQL-PaLMの優れた一般化能力を実証する。
さらに,広範なケーススタディを通じて,llmベースのテキスト・ツー・sqlの知的能力と様々な成功可能性を示す。
関連論文リスト
- Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLM [16.836007408933693]
既存のモデルは、データベーススキーマに従ってthesqlを生成するために、Large Language Modelsの能力に依存している。
我々は,あらゆるタイプのテキスト・トゥ・エキスパート・モデルに対して,適切な知識を利用する知識・ツー・エキスパート・フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T09:10:04Z) - SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data [54.69489315952524]
Prompt"は、Text-to-LLMのいくつかのショットプロンプト機能を改善するように設計されている。
Prompt"は、ラベル付きデータが少なく、テキスト内学習における従来のアプローチよりも大きなマージンで優れている。
emphPromptはテキスト内学習における従来の手法よりも優れており,ラベル付きデータはほとんどない。
論文 参考訳(メタデータ) (2023-11-06T05:24:06Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳(メタデータ) (2023-05-25T17:19:52Z) - Can LLM Already Serve as A Database Interface? A BIg Bench for
Large-Scale Database Grounded Text-to-SQLs [89.68522473384522]
テキストから効率のよいタスクをベースとした大規模データベースのための大規模なベンチマークであるBirdを紹介します。
データベースの値に重点を置いていると、汚いデータベースコンテンツに対する新たな課題が浮き彫りになる。
最も効果的なテキストから効率のよいモデルであるChatGPTでさえ、実行精度はわずか40.08%である。
論文 参考訳(メタデータ) (2023-05-04T19:02:29Z) - Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。
このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
論文 参考訳(メタデータ) (2022-10-23T09:21:27Z) - A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future
Directions [102.8606542189429]
テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。
ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
論文 参考訳(メタデータ) (2022-08-29T14:24:13Z) - Bertrand-DR: Improving Text-to-SQL using a Discriminative Re-ranker [1.049360126069332]
生成テキスト-リミモデルの性能向上を図るために,新しい離散型リランカを提案する。
テキスト・ト・リミモデルとリランカモデルの相対強度を最適性能として解析する。
本稿では,2つの最先端テキスト-リミモデルに適用することで,リランカの有効性を実証する。
論文 参考訳(メタデータ) (2020-02-03T04:52:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。