論文の概要: Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation

• arxiv url: http://arxiv.org/abs/2308.15363v2
• Date: Fri, 8 Sep 2023 10:13:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 17:25:09.452412
• Title: Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation
• Title（参考訳）: 大規模言語モデルを活用したテキスト間SQL:ベンチマーク評価
• Authors: Dawei Gao, Haibin Wang, Yaliang Li, Xiuyu Sun, Yichen Qian, Bolin Ding, Jingren Zhou
• Abstract要約: 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
• 参考スコア（独自算出の注目度）: 76.76046657162306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have emerged as a new paradigm for Text-to-SQL task. However, the absence of a systematical benchmark inhibits the development of designing effective, efficient and economic LLM-based Text-to-SQL solutions. To address this challenge, in this paper, we first conduct a systematical and extensive comparison over existing prompt engineering methods, including question representation, example selection and example organization, and with these experimental results, we elaborate their pros and cons. Based on these findings, we propose a new integrated solution, named DAIL-SQL, which refreshes the Spider leaderboard with 86.6% execution accuracy and sets a new bar. To explore the potential of open-source LLM, we investigate them in various scenarios, and further enhance their performance with supervised fine-tuning. Our explorations highlight open-source LLMs' potential in Text-to-SQL, as well as the advantages and disadvantages of the supervised fine-tuning. Additionally, towards an efficient and economic LLM-based Text-to-SQL solution, we emphasize the token efficiency in prompt engineering and compare the prior studies under this metric. We hope that our work provides a deeper understanding of Text-to-SQL with LLMs, and inspires further investigations and broad applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストからSQLタスクの新しいパラダイムとして登場した。 しかし、体系的なベンチマークがないため、効率的なLLMベースのテキスト・トゥ・SQLソリューションの設計が阻害される。 この課題に対処するため,本稿では,質問表現,サンプル選択,サンプル組織など既存のプロンプトエンジニアリング手法を体系的かつ広範囲に比較し,これらの実験結果をもとに,その長所と短所を詳述する。 これらの結果に基づき,新たな統合ソリューションであるdail-sqlを提案し,86.6%の実行精度でスパイダーリーダボードをリフレッシュし,新たなバーを設定する。 オープンソース LLM の可能性を探るため,様々なシナリオで検討し,教師付き微調整による性能向上を図る。 我々の調査では、Text-to-SQLにおけるオープンソースのLLMの可能性と、教師付き微調整の利点とデメリットを強調しています。 さらに, LLMをベースとしたテキスト・トゥ・SQLの効率的かつ経済的なソリューションを目指して, プロンプトエンジニアリングにおけるトークンの効率を強調し, この指標に基づく先行研究を比較した。 LLMによるText-to-SQLのより深い理解を提供し、さらなる調査や広範な応用を促すことを願っています。

関連論文リスト

• From Natural Language to SQL: Review of LLM-based Text-to-SQL Systems [1.1060425537315088]
  この調査は、LLMベースのテキスト・ツー・スカルシステムの進化に関する包括的研究を提供する。 ベンチマーク、評価方法、評価指標について議論する。 効率性、モデルプライバシ、データプライバシといった重要な課題を、その開発と潜在的な領域の改善の観点から強調する。
  論文  参考訳（メタデータ） (2024-10-01T20:46:25Z)
• PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
  大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。 本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
  論文  参考訳（メタデータ） (2024-09-21T09:33:14Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL [15.75829309721909]
  自然言語の質問(text-to-)から正確なsqlを生成することは、長年にわたる課題である。 PLMはテキスト・ツー・タスクに利用され、有望な性能を実現している。 近年,大規模言語モデル (LLM) は自然言語理解において重要な機能を示している。
  論文  参考訳（メタデータ） (2024-06-12T17:13:17Z)
• Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation [33.41556606816004]
  大規模言語モデル(LLM)は、テキストからタスクへ進むための強力なツールとして登場した。 最適なプロンプトテンプレートと設計フレームワークについてはまだ合意が得られていない。 既存のベンチマークでは、テキスト・ツー・プロセスの様々なサブタスクにまたがるLCMのパフォーマンスが不十分である。
  論文  参考訳（メタデータ） (2024-03-05T13:23:48Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies [20.15851744895469]
  In-context Learning (ICL) は、様々な自然言語処理タスクに対する新しいアプローチとして登場した。 本稿では,構造化知識源を利用した解答課題を問うために,この手法を拡張することを目的とする。
  論文  参考訳（メタデータ） (2023-05-21T22:44:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。