論文の概要: MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL
- arxiv url: http://arxiv.org/abs/2312.11242v3
- Date: Thu, 15 Feb 2024 12:55:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 20:48:42.864300
- Title: MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL
- Title(参考訳): MAC-SQL: テキストからSQLへのコラボレーションフレームワーク
- Authors: Bing Wang, Changyu Ren, Jian Yang, Xinnian Liang, Jiaqi Bai, Linzheng
Chai, Zhao Yan, Qian-Wen Zhang, Di Yin, Xing Sun, Zhoujun Li
- Abstract要約: 我々は,新しいテキスト・ツー・データベース・ベースのマルチエージェント・コラボレーティブ・フレームワークであるMACを紹介する。
本フレームワークは,テキスト・ツー・ジェネレーションのためのコア・デコンポーザ・エージェントと,数発のチェーン・オブ・シークレット・推論を備える。
我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。
次に、GPT-4のようにCode 7Bを活用して、オープンソースの命令フォローモデルsql-Llamaを微調整する。
- 参考スコア(独自算出の注目度): 48.523327752786585
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent LLM-based Text-to-SQL methods usually suffer from significant
performance degradation on ``huge" databases and complex user questions that
require multi-step reasoning. Moreover, most existing methods neglect the
crucial significance of LLMs utilizing external tools and model collaboration.
To address these challenges, we introduce MAC-SQL, a novel LLM-based
multi-agent collaborative framework. Our framework comprises a core decomposer
agent for Text-to-SQL generation with few-shot chain-of-thought reasoning,
accompanied by two auxiliary agents that utilize external tools or models to
acquire smaller sub-databases and refine erroneous SQL queries. The decomposer
agent collaborates with auxiliary agents, which are activated as needed and can
be expanded to accommodate new features or tools for effective Text-to-SQL
parsing. In our framework, We initially leverage GPT-4 as the strong backbone
LLM for all agent tasks to determine the upper bound of our framework. We then
fine-tune an open-sourced instruction-followed model, SQL-Llama, by leveraging
Code Llama 7B, to accomplish all tasks as GPT-4 does. Experiments show that
SQL-Llama achieves a comparable execution accuracy of 43.94, compared to the
baseline accuracy of 46.35 for vanilla GPT-4. At the time of writing,
MAC-SQL+GPT-4 achieves an execution accuracy of 59.59 when evaluated on the
BIRD benchmark, establishing a new state-of-the-art (SOTA) on its holdout test
set (https://github.com/wbbeyourself/MAC-SQL).
- Abstract(参考訳): 最近の LLM ベースの Text-to-SQL メソッドは,‘大規模’ データベースや複数ステップの推論を必要とする複雑なユーザ質問に対して,パフォーマンスが著しく低下することが多い。
さらに、既存のほとんどの手法は、外部ツールやモデルコラボレーションを利用したLLMの重要な重要性を無視している。
これらの課題に対処するために,新しいLLMベースのマルチエージェント協調フレームワークMAC-SQLを紹介する。
本フレームワークは,外部ツールやモデルを用いてより小さなサブデータベースを取得し,誤ったSQLクエリを精査する2つの補助エージェントを伴って,数発の連鎖推論によるテキストからSQL生成のためのコアデコンポーザエージェントで構成されている。
decomposerエージェントは、必要に応じてアクティベートされ、効率的なテキストからsqlパースのための新機能やツールに合わせて拡張できる補助エージェントと協調する。
我々のフレームワークでは、まず、GPT-4 を全てのエージェントタスクの強力なバックボーン LLM として利用し、フレームワークの上限を決定する。
GPT-4のように,Code Llama 7Bを活用することで,オープンソースの命令フォローモデルSQL-Llamaを微調整する。
実験の結果、SQL-Llama はバニラ GPT-4 のベースライン精度 46.35 と比較して 43.94 の実行精度を達成した。
執筆時点で、MAC-SQL+GPT-4はBIRDベンチマークで評価すると59.59の実行精度を達成し、そのホールドアウトテストセット(https://github.com/wbbeyourself/MAC-SQL)上に新しい最先端(SOTA)を確立する。
関連論文リスト
- Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳(メタデータ) (2024-03-06T15:33:32Z) - Knowledge-to-SQL: Enhancing SQL Generation with Data Expert LLM [16.836007408933693]
既存のモデルは、データベーススキーマに従ってthesqlを生成するために、Large Language Modelsの能力に依存している。
我々は,あらゆるタイプのテキスト・トゥ・エキスパート・モデルに対して,適切な知識を利用する知識・ツー・エキスパート・フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T09:10:04Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over
Tabular and Textual Data [77.66158066013924]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳(メタデータ) (2024-01-24T04:28:50Z) - Blar-SQL: Faster, Stronger, Smaller NL2SQL [0.0]
データベースの理解とクエリ生成において,タスクの分解が大規模言語モデル(LLM)に大きな利益をもたらすことを示す。
我々は、より多くの情報を限られたコンテキストに適合させるために、スキーマをチャンクに分割する新しいフレームワークを提案する。
その結果,GPT-4はGPT-4の135倍,90倍,100倍以上の速さであった。
論文 参考訳(メタデータ) (2024-01-04T16:50:52Z) - Fine-Tuning Language Models for Context-Specific SQL Query Generation [0.0]
本稿では,自然言語を tosql クエリに変換するタスクに対して,オープンソースの大規模言語モデル (LLM) を微調整する新しい手法を提案する。
我々は、Snowflake SQLとGoogleの方言に合わせて、合成データセットに基づいて訓練されたsqlクエリ生成に特化したモデルを紹介する。
提案手法では,GPT-4を用いてコンテキスト固有のデータセットを生成し,リソース制約を最適化するためにLoRa技術を用いて3つのオープンソースLCM(Starcoder Plus,Code-Llama,Mistral)を微調整する。
微調整モデルでは、ベースラインGPと比較してゼロショット設定では優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-04T18:04:27Z) - ML-Bench: Large Language Models Leverage Open-source Libraries for
Machine Learning Tasks [75.12666425091702]
大規模な言語モデルは、コード生成ベンチマークで有望なパフォーマンスを示している。
この研究は、LLMがオープンソースのライブラリを使用して機械学習タスクを終了する、新たな評価設定を提案することを目的としている。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳(メタデータ) (2023-08-29T14:59:54Z) - Retrieval-augmented GPT-3.5-based Text-to-SQL Framework with
Sample-aware Prompting and Dynamic Revision Chain [21.593701177605652]
サンプルと動的リビジョンチェーンを含むテキスト・ツー・アウェア・プロンプト・フレームワークを提案する。
提案手法は,質問項目のサンプルと詳細な情報を含む。
人間の介入なしに実行可能で正確なスクルを生成するために、我々は、きめ細かいフィードバックを反復的に適応する動的リビジョンチェーンを設計する。
論文 参考訳(メタデータ) (2023-07-11T07:16:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。