論文の概要: PURPLE: Making a Large Language Model a Better SQL Writer
- arxiv url: http://arxiv.org/abs/2403.20014v1
- Date: Fri, 29 Mar 2024 07:01:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 16:15:12.268319
- Title: PURPLE: Making a Large Language Model a Better SQL Writer
- Title(参考訳): PURPLE: 大きな言語モデルをより良いSQLライタにする
- Authors: Tonghui Ren, Yuankai Fan, Zhenying He, Ren Huang, Jiaqi Dai, Can Huang, Yinan Jing, Kai Zhang, Yifan Yang, X. Sean Wang,
- Abstract要約: NL2タスクに必要な論理演算子構成を含む実演を検索することで精度を向上させるPURPLEを提案する。
PURPLEは、一般的なNL2ベンチマークの検証セット上で80.5%の正確な一致精度と87.8%の実行一致精度という、最先端の新たなパフォーマンスを実現している。
- 参考スコア(独自算出の注目度): 14.627323505405327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Model (LLM) techniques play an increasingly important role in Natural Language to SQL (NL2SQL) translation. LLMs trained by extensive corpora have strong natural language understanding and basic SQL generation abilities without additional tuning specific to NL2SQL tasks. Existing LLMs-based NL2SQL approaches try to improve the translation by enhancing the LLMs with an emphasis on user intention understanding. However, LLMs sometimes fail to generate appropriate SQL due to their lack of knowledge in organizing complex logical operator composition. A promising method is to input the LLMs with demonstrations, which include known NL2SQL translations from various databases. LLMs can learn to organize operator compositions from the input demonstrations for the given task. In this paper, we propose PURPLE (Pre-trained models Utilized to Retrieve Prompts for Logical Enhancement), which improves accuracy by retrieving demonstrations containing the requisite logical operator composition for the NL2SQL task on hand, thereby guiding LLMs to produce better SQL translation. PURPLE achieves a new state-of-the-art performance of 80.5% exact-set match accuracy and 87.8% execution match accuracy on the validation set of the popular NL2SQL benchmark Spider. PURPLE maintains high accuracy across diverse benchmarks, budgetary constraints, and various LLMs, showing robustness and cost-effectiveness.
- Abstract(参考訳): 大規模言語モデル(LLM)技術は、自然言語からSQLへの変換(NL2SQL)において、ますます重要な役割を担っている。
大規模なコーパスによって訓練されたLLMは、NL2SQLタスクに特有の追加チューニングをせずに、強力な自然言語理解と基本的なSQL生成能力を持つ。
既存の LLM ベースの NL2SQL アプローチでは,ユーザ意図の理解を重視した LLM の拡張による翻訳の改善が試みられている。
しかし、LLMは複雑な論理演算子の構成を整理する知識が不足しているため、適切なSQLを生成することができないことがある。
有望な方法は、様々なデータベースからの既知のNL2SQL翻訳を含むデモでLLMを入力することである。
LLMは、与えられたタスクの入力デモから演算子構成を整理することを学ぶことができる。
本稿では,NL2SQLタスクに必要な論理演算子構成を含む実演を手作業で取得し,LLMを誘導してSQL翻訳を改善することにより,精度を向上させるPURPLE(Retrieve Prompts for Logical Enhancement)を提案する。
PURPLEは、一般的なNL2SQLベンチマークSpiderの検証セットで80.5%の精度と87.8%の精度で、最先端のパフォーマンスを実現している。
PURPLE は様々なベンチマーク、予算制約、様々な LLM にまたがって高い精度を維持しており、堅牢性と費用対効果を示している。
関連論文リスト
- PET-SQL: A Prompt-enhanced Two-stage Text-to-SQL Framework with Cross-consistency [19.067737007347613]
スパイダーベンチマークで新しいSOTA結果が得られ、実行精度は87.6%である。
提案手法は, 87.6%の精度で, スパイダーベンチマークで新しいSOTA結果が得られる。
論文 参考訳(メタデータ) (2024-03-13T02:32:41Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳(メタデータ) (2024-03-06T15:33:32Z) - Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLM [16.836007408933693]
既存のモデルは、データベーススキーマに従ってthesqlを生成するために、Large Language Modelsの能力に依存している。
我々は,あらゆるタイプのテキスト・トゥ・エキスパート・モデルに対して,適切な知識を利用する知識・ツー・エキスパート・フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T09:10:04Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Fine-Tuning Language Models for Context-Specific SQL Query Generation [0.0]
本稿では,自然言語を tosql クエリに変換するタスクに対して,オープンソースの大規模言語モデル (LLM) を微調整する新しい手法を提案する。
我々は、Snowflake SQLとGoogleの方言に合わせて、合成データセットに基づいて訓練されたsqlクエリ生成に特化したモデルを紹介する。
提案手法では,GPT-4を用いてコンテキスト固有のデータセットを生成し,リソース制約を最適化するためにLoRa技術を用いて3つのオープンソースLCM(Starcoder Plus,Code-Llama,Mistral)を微調整する。
微調整モデルでは、ベースラインGPと比較してゼロショット設定では優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-04T18:04:27Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳(メタデータ) (2023-08-29T14:59:54Z) - Interleaving Pre-Trained Language Models and Large Language Models for
Zero-Shot NL2SQL Generation [23.519727682763644]
ZeroNL2は、新しい環境に適応する自然言語のtosqlの実現に不可欠である。
既存のアプローチは、データに基づいた微調整事前学習言語モデル(PLM)か、ChatGPTのような固定された大言語モデル(LLM)をガイドするプロンプトを使用する。
ゼロショットNL2をサポートするために, PLM と LLM の相補的な利点を組み合わせた ZeroNL2 フレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-15T06:50:51Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳(メタデータ) (2023-05-26T21:39:05Z) - Table Meets LLM: Can Large Language Models Understand Structured Table
Data? A Benchmark and Empirical Study [47.6239689986714]
大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。
我々は,LLMの構造理解能力(SUC)を評価するためのベンチマークを設計することで,これを理解しようとしている。
その結果、テーブル入力形式、コンテンツ順序、ロールプロンプト、パーティションマークなど、いくつかの入力選択によってパフォーマンスが変化していることが判明した。
論文 参考訳(メタデータ) (2023-05-22T14:23:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。