論文の概要: Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation
- arxiv url: http://arxiv.org/abs/2308.15363v1
- Date: Tue, 29 Aug 2023 14:59:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 13:33:59.542587
- Title: Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation
- Title(参考訳): 大規模言語モデルを活用したテキスト間SQL:ベンチマーク評価
- Authors: Dawei Gao, Haibin Wang, Yaliang Li, Xiuyu Sun, Yichen Qian, Bolin
Ding, Jingren Zhou
- Abstract要約: 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
質問表現やサンプル選択,サンプル組織など,既存のプロンプトエンジニアリング手法を比較し,その長所と短所を詳述する。
我々はDAIL-Spiderという新しい統合ソリューションを提案し、86.6%の精度で新しい効率のリーダーボードを設定した。
- 参考スコア(独自算出の注目度): 76.76046657162306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have emerged as a new paradigm for Text-to-SQL
task. However, the absence of a systematical benchmark inhibits the development
of designing effective, efficient and economic LLM-based Text-to-SQL solutions.
To address this challenge, in this paper, we first conduct a systematical and
extensive comparison over existing prompt engineering methods, including
question representation, example selection and example organization, and with
these experimental results, we elaborates their pros and cons. Based on these
findings, we propose a new integrated solution, named DAIL-SQL, which refreshes
the Spider leaderboard with 86.6% execution accuracy and sets a new bar.
Towards an efficient and economic LLM-based Text-to-SQL solution, we emphasize
the token efficiency in prompt engineering and compare the prior studies under
this metric. Additionally, we investigate open-source LLMs in in-context
learning, and further enhance their performance with task-specific supervised
fine-tuning. Our explorations highlight open-source LLMs' potential in
Text-to-SQL, as well as the advantages and disadvantages of the task-specific
supervised fine-tuning. We hope that our work provides a deeper understanding
of Text-to-SQL with LLMs, and inspire further investigations and broad
applications.
- Abstract(参考訳): 大規模言語モデル(LLM)は、テキストからSQLタスクの新しいパラダイムとして登場した。
しかし、体系的なベンチマークがないため、効率的なLLMベースのテキスト・トゥ・SQLソリューションの設計が阻害される。
この課題に対処するため,本稿では,質問表現,サンプル選択,サンプル組織など既存のプロンプトエンジニアリング手法を体系的かつ広範囲に比較し,これらの実験結果をもとに,その長所と短所を詳述する。
これらの結果に基づき,新たな統合ソリューションであるdail-sqlを提案し,86.6%の実行精度でスパイダーリーダボードをリフレッシュし,新たなバーを設定する。
効率的かつ経済的なllmベースのテキストからsqlへのソリューションに向けて,我々は,迅速なエンジニアリングにおけるトークン効率を強調し,この指標の下での先行研究を比較する。
さらに,テキスト内学習におけるオープンソースのLLMについて検討し,タスク固有の微調整による性能向上を図る。
我々の調査では、Text-to-SQLにおけるオープンソースのLLMの可能性と、タスク固有の教師付き微調整の利点とデメリットを強調しています。
LLMによるText-to-SQLのより深い理解を提供し、さらなる調査や広範な応用を促すことを願っています。
関連論文リスト
- Benchmarking the Text-to-SQL Capability of Large Language Models: A
Comprehensive Evaluation [33.41556606816004]
大規模言語モデル(LLM)は、テキストからタスクへ進むための強力なツールとして登場した。
最適なプロンプトテンプレートと設計フレームワークについてはまだ合意が得られていない。
既存のベンチマークでは、テキスト・ツー・プロセスの様々なサブタスクにまたがるLCMのパフォーマンスが不十分である。
論文 参考訳(メタデータ) (2024-03-05T13:23:48Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Evaluating LLMs' Mathematical Reasoning in Financial Document Question
Answering [53.56653281752486]
本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。
数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。
半構造化文書に適した新しいプロンプト技術を導入する。
論文 参考訳(メタデータ) (2024-02-17T05:10:18Z) - Enhancing Text-to-SQL Translation for Financial System Design [5.248014305403357]
様々なNLPタスクの最先端技術を実現したLarge Language Models (LLMs) について検討する。
本稿では,関係クエリ間の類似性を適切に測定する2つの新しい指標を提案する。
論文 参考訳(メタデータ) (2023-12-22T14:34:19Z) - MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [48.523327752786585]
我々は,新しいテキスト・ツー・データベース・ベースのマルチエージェント・コラボレーティブ・フレームワークであるMACを紹介する。
本フレームワークは,テキスト・ツー・ジェネレーションのためのコア・デコンポーザ・エージェントと,数発のチェーン・オブ・シークレット・推論を備える。
我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。
次に、GPT-4のようにCode 7Bを活用して、オープンソースの命令フォローモデルsql-Llamaを微調整する。
論文 参考訳(メタデータ) (2023-12-18T14:40:20Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳(メタデータ) (2023-05-26T21:39:05Z) - Table Meets LLM: Can Large Language Models Understand Structured Table
Data? A Benchmark and Empirical Study [47.6239689986714]
大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。
我々は,LLMの構造理解能力(SUC)を評価するためのベンチマークを設計することで,これを理解しようとしている。
その結果、テーブル入力形式、コンテンツ順序、ロールプロンプト、パーティションマークなど、いくつかの入力選択によってパフォーマンスが変化していることが判明した。
論文 参考訳(メタデータ) (2023-05-22T14:23:46Z) - Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A
Study on Prompt Design Strategies [20.15851744895469]
In-context Learning (ICL) は、様々な自然言語処理タスクに対する新しいアプローチとして登場した。
本稿では,構造化知識源を利用した解答課題を問うために,この手法を拡張することを目的とする。
論文 参考訳(メタデータ) (2023-05-21T22:44:25Z) - How to Prompt LLMs for Text-to-SQL: A Study in Zero-shot, Single-domain,
and Cross-domain Settings [12.288808992805494]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクにおいて顕著な能力を示した。
従来の研究により、LLMは様々な実証検索戦略と中間的推論を取り入れて性能を向上させるようになった。
論文 参考訳(メタデータ) (2023-05-19T17:43:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。