論文の概要: PURPLE: Making a Large Language Model a Better SQL Writer

• arxiv url: http://arxiv.org/abs/2403.20014v1
• Date: Fri, 29 Mar 2024 07:01:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 16:15:12.268319
• Title: PURPLE: Making a Large Language Model a Better SQL Writer
• Title（参考訳）: PURPLE: 大きな言語モデルをより良いSQLライタにする
• Authors: Tonghui Ren, Yuankai Fan, Zhenying He, Ren Huang, Jiaqi Dai, Can Huang, Yinan Jing, Kai Zhang, Yifan Yang, X. Sean Wang,
• Abstract要約: NL2タスクに必要な論理演算子構成を含む実演を検索することで精度を向上させるPURPLEを提案する。 PURPLEは、一般的なNL2ベンチマークの検証セット上で80.5%の正確な一致精度と87.8%の実行一致精度という、最先端の新たなパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 14.627323505405327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Model (LLM) techniques play an increasingly important role in Natural Language to SQL (NL2SQL) translation. LLMs trained by extensive corpora have strong natural language understanding and basic SQL generation abilities without additional tuning specific to NL2SQL tasks. Existing LLMs-based NL2SQL approaches try to improve the translation by enhancing the LLMs with an emphasis on user intention understanding. However, LLMs sometimes fail to generate appropriate SQL due to their lack of knowledge in organizing complex logical operator composition. A promising method is to input the LLMs with demonstrations, which include known NL2SQL translations from various databases. LLMs can learn to organize operator compositions from the input demonstrations for the given task. In this paper, we propose PURPLE (Pre-trained models Utilized to Retrieve Prompts for Logical Enhancement), which improves accuracy by retrieving demonstrations containing the requisite logical operator composition for the NL2SQL task on hand, thereby guiding LLMs to produce better SQL translation. PURPLE achieves a new state-of-the-art performance of 80.5% exact-set match accuracy and 87.8% execution match accuracy on the validation set of the popular NL2SQL benchmark Spider. PURPLE maintains high accuracy across diverse benchmarks, budgetary constraints, and various LLMs, showing robustness and cost-effectiveness.
• Abstract（参考訳）: 大規模言語モデル(LLM)技術は、自然言語からSQLへの変換(NL2SQL)において、ますます重要な役割を担っている。 大規模なコーパスによって訓練されたLLMは、NL2SQLタスクに特有の追加チューニングをせずに、強力な自然言語理解と基本的なSQL生成能力を持つ。 既存の LLM ベースの NL2SQL アプローチでは,ユーザ意図の理解を重視した LLM の拡張による翻訳の改善が試みられている。 しかし、LLMは複雑な論理演算子の構成を整理する知識が不足しているため、適切なSQLを生成することができないことがある。 有望な方法は、様々なデータベースからの既知のNL2SQL翻訳を含むデモでLLMを入力することである。 LLMは、与えられたタスクの入力デモから演算子構成を整理することを学ぶことができる。 本稿では,NL2SQLタスクに必要な論理演算子構成を含む実演を手作業で取得し,LLMを誘導してSQL翻訳を改善することにより,精度を向上させるPURPLE(Retrieve Prompts for Logical Enhancement)を提案する。 PURPLEは、一般的なNL2SQLベンチマークSpiderの検証セットで80.5%の精度と87.8%の精度で、最先端のパフォーマンスを実現している。 PURPLE は様々なベンチマーク、予算制約、様々な LLM にまたがって高い精度を維持しており、堅牢性と費用対効果を示している。

関連論文リスト

• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• MindMerger: Efficient Boosting LLM Reasoning in non-English Languages [26.334092384176518]
  推論能力は大規模言語モデル(LLM)にとって不可欠である 我々は,多言語モデルからLLMと外部言語理解機能を融合したMindMergerを提案する。 MindMergerは、特に低リソース言語において、すべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-05-27T17:41:54Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• PET-SQL: A Prompt-Enhanced Two-Round Refinement of Text-to-SQL with Cross-consistency [19.067737007347613]
  スパイダーベンチマークで新しいSOTA結果が得られ、実行精度は87.6%である。 提案手法は, 87.6%の精度で, スパイダーベンチマークで新しいSOTA結果が得られる。
  論文  参考訳（メタデータ） (2024-03-13T02:32:41Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLM [15.888784472807775]
  既存のメソッドは、クエリを生成するための大規模言語モデル(LLM)の包括的な機能に依存している。 我々は,すべてのテキスト・トゥ・モデルに対して適切な知識を利用する知識・ツー・データ・エキスパート・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T09:10:04Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• Interleaving Pre-Trained Language Models and Large Language Models for Zero-Shot NL2SQL Generation [23.519727682763644]
  ZeroNL2は、新しい環境に適応する自然言語のtosqlの実現に不可欠である。 既存のアプローチは、データに基づいた微調整事前学習言語モデル(PLM)か、ChatGPTのような固定された大言語モデル(LLM)をガイドするプロンプトを使用する。 ゼロショットNL2をサポートするために, PLM と LLM の相補的な利点を組み合わせた ZeroNL2 フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-15T06:50:51Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。