論文の概要: MAC-SQL: Multi-Agent Collaboration for Text-to-SQL
- arxiv url: http://arxiv.org/abs/2312.11242v1
- Date: Mon, 18 Dec 2023 14:40:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 19:42:29.153746
- Title: MAC-SQL: Multi-Agent Collaboration for Text-to-SQL
- Title(参考訳): MAC-SQL: テキストからSQLへのマルチエージェントコラボレーション
- Authors: Bing Wang, Changyu Ren, Jian Yang, Xinnian Liang, Jiaqi Bai, Qian-Wen
Zhang, Zhao Yan, Zhoujun Li
- Abstract要約: 我々は,Large Language Models (LLMs) に基づく協調型テキスト-コンパイラフレームワーク textbfMAC を提案する。
我々は、BIRDテストセットで59.59%の最先端実行精度を達成するため、データセット、BIRD、Spiderの実験を行う。
Code 7Bをベースとした命令微調整モデル textbf-Llama をオープンソースとして公開した他,BIRD と Spider をベースとしたトレーニングデータから派生したエージェント命令データセットも公開されている。
- 参考スコア(独自算出の注目度): 36.62738802570278
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advancements in Text-to-SQL methods employing Large Language Models
(LLMs) have demonstrated remarkable performance. Nonetheless, these approaches
continue to encounter difficulties when handling extensive databases, intricate
user queries, and erroneous SQL results. To tackle these challenges, we present
\textbf{MAC-SQL}, a LLM-based multi-agent collaborative Text- to-SQL framework
based on LLMs. This framework comprises three agents: the \textit{Selector},
accountable for condensing voluminous databases and preserving relevant table
schemas for user questions; the \textit{Decomposer}, which disassembles complex
user questions into more straightforward sub-problems and resolves them
progressively; and the \textit{Refiner}, tasked with validating and refining
defective SQL queries. We perform thorough experiments on two Text-to-SQL
datasets, BIRD and Spider, attaining a state-of-the-art execution accuracy of
59.59\% on the BIRD test set. Moreover, we have open-sourced an instruction
fine-tuning model, \textbf{SQL-Llama}, based on Code Llama 7B, in addition to
an agent instruction dataset derived from training data based on BIRD and
Spider. The SQL-Llama model has demonstrated encouraging outcomes on the
development sets of both BIRD and Spider. However, when compared to the GPT-4
model, there remains a notable potential for enhancement. Our code and data can
be accessed publicly at
\href{https://github.com/wbbeyourself/MAC-SQL}{https://github.com/wbbeyourself/MAC-SQL}.
- Abstract(参考訳): 大規模言語モデル(LLM)を用いたテキストからSQLへの手法の最近の進歩は顕著な性能を示している。
それでもこれらのアプローチは、広範なデータベース処理、複雑なユーザクエリ、誤ったSQL結果の処理において、引き続き困難に直面する。
これらの課題に対処するために, LLM をベースとした多エージェント協調型テキスト- to-SQL フレームワークである \textbf{MAC-SQL} を提案する。
このフレームワークは、3つのエージェントで構成されている: \textit{Selector}, voluminous databaseの凝縮とユーザ質問に関連するテーブルスキーマの保存, 複雑なユーザ質問をより単純なサブプロブレムに分解して徐々に解決する \textit{Decomposer}, 欠陥SQLクエリの検証と精査を行う \textit{Refiner}。
BIRDとSpiderの2つのText-to-SQLデータセットに対して徹底的な実験を行い、BIRDテストセット上で59.59\%の最先端実行精度を実現する。
さらに,コードLlama 7Bをベースとした命令微調整モデル \textbf{SQL-Llama} と,BIRDとSpiderに基づくトレーニングデータから導出されたエージェント命令データセットをオープンソース化した。
sql-llamaモデルは、birdとspiderの開発セットで奨励的な結果を示している。
しかし, GPT-4モデルと比較すると, 改善の可能性は顕著である。
私たちのコードとデータは、 \href{https://github.com/wbbeyourself/MAC-SQL}{https://github.com/wbbeyourself/MAC-SQL}で公開されています。
関連論文リスト
- CoE-SQL: In-Context Learning for Multi-Turn Text-to-SQL with Chain-of-Editions [22.493487741249716]
大規模言語モデル(LLM)は、様々なドメインやタスクにおいて印象的な機能を持つことが実証されている。
マルチターンテキスト・ツー・タスクにおけるプロンプト設計の問題について検討し,LLMの推論能力の向上を図る。
論文 参考訳(メタデータ) (2024-05-04T16:56:14Z) - PET-SQL: A Prompt-enhanced Two-stage Text-to-SQL Framework with Cross-consistency [19.067737007347613]
スパイダーベンチマークで新しいSOTA結果が得られ、実行精度は87.6%である。
提案手法は, 87.6%の精度で, スパイダーベンチマークで新しいSOTA結果が得られる。
論文 参考訳(メタデータ) (2024-03-13T02:32:41Z) - Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳(メタデータ) (2024-03-06T15:33:32Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over
Tabular and Textual Data [77.66158066013924]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳(メタデータ) (2024-01-24T04:28:50Z) - Blar-SQL: Faster, Stronger, Smaller NL2SQL [0.0]
データベースの理解とクエリ生成において,タスクの分解が大規模言語モデル(LLM)に大きな利益をもたらすことを示す。
我々は、より多くの情報を限られたコンテキストに適合させるために、スキーマをチャンクに分割する新しいフレームワークを提案する。
その結果,GPT-4はGPT-4の135倍,90倍,100倍以上の速さであった。
論文 参考訳(メタデータ) (2024-01-04T16:50:52Z) - Fine-Tuning Language Models for Context-Specific SQL Query Generation [0.0]
本稿では,自然言語を tosql クエリに変換するタスクに対して,オープンソースの大規模言語モデル (LLM) を微調整する新しい手法を提案する。
我々は、Snowflake SQLとGoogleの方言に合わせて、合成データセットに基づいて訓練されたsqlクエリ生成に特化したモデルを紹介する。
提案手法では,GPT-4を用いてコンテキスト固有のデータセットを生成し,リソース制約を最適化するためにLoRa技術を用いて3つのオープンソースLCM(Starcoder Plus,Code-Llama,Mistral)を微調整する。
微調整モデルでは、ベースラインGPと比較してゼロショット設定では優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-04T18:04:27Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳(メタデータ) (2023-08-29T14:59:54Z) - Retrieval-augmented GPT-3.5-based Text-to-SQL Framework with
Sample-aware Prompting and Dynamic Revision Chain [21.593701177605652]
サンプルと動的リビジョンチェーンを含むテキスト・ツー・アウェア・プロンプト・フレームワークを提案する。
提案手法は,質問項目のサンプルと詳細な情報を含む。
人間の介入なしに実行可能で正確なスクルを生成するために、我々は、きめ細かいフィードバックを反復的に適応する動的リビジョンチェーンを設計する。
論文 参考訳(メタデータ) (2023-07-11T07:16:22Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳(メタデータ) (2023-05-26T21:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。