Fugu-MT 論文翻訳(概要): Analyzing the Effectiveness of Large Language Models on Text-to-SQL Synthesis

論文の概要: Analyzing the Effectiveness of Large Language Models on Text-to-SQL Synthesis

arxiv url: http://arxiv.org/abs/2401.12379v1
Date: Mon, 22 Jan 2024 22:05:42 GMT
ステータス: 処理完了
システム内更新日: 2024-01-24 17:32:08.266033
Title: Analyzing the Effectiveness of Large Language Models on Text-to-SQL Synthesis
Title（参考訳）: テキスト-SQL合成における大規模言語モデルの有効性の分析
Authors: Richard Roberson, Gowtham Kaki, Ashutosh Trivedi
Abstract要約: 本研究では,大規模言語モデルを用いたテキスト・ツー・プログラム合成における様々なアプローチについて検討する。目標は、データベーススキーマと共に自然言語の質問を入力し、正しいSELECTクエリを出力することであった。
参考スコア（独自算出の注目度）: 4.412170175171256
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This study investigates various approaches to using Large Language Models (LLMs) for Text-to-SQL program synthesis, focusing on the outcomes and insights derived. Employing the popular Text-to-SQL dataset, spider, the goal was to input a natural language question along with the database schema and output the correct SQL SELECT query. The initial approach was to fine-tune a local and open-source model to generate the SELECT query. After QLoRa fine-tuning WizardLM's WizardCoder-15B model on the spider dataset, the execution accuracy for generated queries rose to a high of 61%. With the second approach, using the fine-tuned gpt-3.5-turbo-16k (Few-shot) + gpt-4-turbo (Zero-shot error correction), the execution accuracy reached a high of 82.1%. Of all the incorrect queries, most can be categorized into a seven different categories of what went wrong: selecting the wrong columns or wrong order of columns, grouping by the wrong column, predicting the wrong values in conditionals, using different aggregates than the ground truth, extra or too few JOIN clauses, inconsistencies in the Spider dataset, and lastly completely incorrect query structure. Most if not all of the queries fall into these categories and it is insightful to understanding where the faults still lie with LLM program synthesis and where they can be improved.
Abstract（参考訳）: 本研究では,大規模言語モデル(llms)を用いたテキストからsqlへのプログラム合成手法について検討し,結果と洞察に着目した。人気のあるText-to-SQLデータセットであるSpiderを使用することで、データベーススキーマとともに自然言語の質問を入力し、正しいSQL SELECTクエリを出力することが目標だった。最初のアプローチは、ローカルおよびオープンソースモデルを微調整して、セレクトクエリを生成することだった。 QLoRaがクモデータセット上でWizardLMのWizardCoder-15Bモデルを微調整した後、生成されたクエリの実行精度は61%に達した。第2のアプローチでは、微調整されたgpt-3.5-turbo-16k (few-shot) + gpt-4-turbo (zero-shot error correction) を使用して、実行精度は82.1%に達した。間違った列または間違った列の順序を選択し、間違った列をグループ化し、条件付きで間違った値を予測し、基礎的な真理と異なる集約を使用し、余分に少ないJOIN節を使用し、Spiderデータセットの不整合、そして最後に完全に不正確なクエリ構造である。ほとんどの場合、全てのクエリがこれらのカテゴリに該当せず、障害がまだLLMプログラム合成のどこにあるのか、どこで改善できるのかを理解することは、洞察に富んでいる。

関連論文リスト

RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
論文参考訳（メタデータ） (2024-10-31T16:22:26Z)
Context-Aware SQL Error Correction Using Few-Shot Learning -- A Novel Approach Based on NLQ, Error, and SQL Similarity [0.0]
本稿では,誤り訂正 insql 生成のための新しい数ショット学習手法を提案する。与えられた自然言語質問(NLQ)に対して最も適した少数ショット誤り訂正例を選択することにより、生成されたクエリの精度を向上させる。オープンソースデータセットを用いた実験では、単純な誤り訂正法により、誤り訂正のない修正エラーが39.2%増加し、10%増加した。
論文参考訳（メタデータ） (2024-10-11T18:22:08Z)
DataGpt-SQL-7B: An Open-Source Language Model for Text-to-SQL [7.76068876576964]
我々は,データアクセスと分析を非専門ユーザ向けに民主化する,コンパクトで微調整されたモデルと自己定義機構のスイートを提案する。我々のシステムであるDataGpt-sqlは、スパイダーデブで87.2%の精度を達成した。
論文参考訳（メタデータ） (2024-09-24T11:38:08Z)
SelECT-SQL: Self-correcting ensemble Chain-of-Thought for Text-to-SQL [3.422309388045878]
SelECT-は、チェーン・オブ・シンク、自己補正、アンサンブルの手法をアルゴリズムで組み合わせた、新しいインコンテキスト学習ソリューションである。具体的には、GPTをベースLLMとして使用する場合、SelECT-Turboはスパイダーリーダーボードの開発セット上で84.2%の実行精度を達成する。
論文参考訳（メタデータ） (2024-09-16T05:40:18Z)
DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
論文参考訳（メタデータ） (2024-08-16T14:43:15Z)
Fine-Tuning Language Models for Context-Specific SQL Query Generation [0.0]
本稿では,自然言語を tosql クエリに変換するタスクに対して,オープンソースの大規模言語モデル (LLM) を微調整する新しい手法を提案する。我々は、Snowflake SQLとGoogleの方言に合わせて、合成データセットに基づいて訓練されたsqlクエリ生成に特化したモデルを紹介する。提案手法では,GPT-4を用いてコンテキスト固有のデータセットを生成し,リソース制約を最適化するためにLoRa技術を用いて3つのオープンソースLCM(Starcoder Plus,Code-Llama,Mistral)を微調整する。微調整モデルでは、ベースラインGPと比較してゼロショット設定では優れた性能を示す。
論文参考訳（メタデータ） (2023-12-04T18:04:27Z)
Benchmarking and Improving Text-to-SQL Generation under Ambiguity [25.283118418288293]
我々はAmbiQTと呼ばれる新しいベンチマークを開発し、各テキストは語彙的および/または構造的あいまいさのために2つのもっともらしいSQLとして解釈できる。提案するLogicalBeamは,計画ベースのテンプレート生成と制約付きインフィルを併用して,sql論理空間をナビゲートする新しい復号アルゴリズムである。
論文参考訳（メタデータ） (2023-10-20T17:00:53Z)
SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文参考訳（メタデータ） (2023-05-26T21:39:05Z)
Improving Text-to-SQL Semantic Parsing with Fine-grained Query Understanding [84.04706075621013]
トークンレベルのきめ細かいクエリ理解に基づく汎用的モジュール型ニューラルネットワーク解析フレームワークを提案する。我々のフレームワークは、名前付きエンティティ認識(NER)、ニューラルエンティティリンカ(NEL)、ニューラルエンティティリンカ(NSP)の3つのモジュールから構成されている。
論文参考訳（メタデータ） (2022-09-28T21:00:30Z)
S$^2$SQL: Injecting Syntax to Question-Schema Interaction Graph Encoder for Text-to-SQL Parsers [66.78665327694625]
テキスト-関係解析のための質問-エンコーダグラフに構文を注入するS$2$を提案する。また、疎結合制約を用いて多様なエッジ埋め込みを誘導し、ネットワークの性能をさらに向上させる。スパイダーとロバスト性設定の実験は、提案手法が事前学習モデルを使用する場合、既存のすべての手法より優れていることを示した。
論文参考訳（メタデータ） (2022-03-14T09:49:15Z)
Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
我々は最近提案されたQDMR(QDMR)という意味表現を活用している。質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
論文参考訳（メタデータ） (2021-12-12T20:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。