論文の概要: MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL

• arxiv url: http://arxiv.org/abs/2312.11242v4
• Date: Mon, 17 Jun 2024 02:27:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 07:14:24.198479
• Title: MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL
• Title（参考訳）: MAC-SQL: テキストからSQLへの多言語コラボレーションフレームワーク
• Authors: Bing Wang, Changyu Ren, Jian Yang, Xinnian Liang, Jiaqi Bai, Linzheng Chai, Zhao Yan, Qian-Wen Zhang, Di Yin, Xing Sun, Zhoujun Li,
• Abstract要約: 最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。 我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。 我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。 次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
• 参考スコア（独自算出の注目度）: 47.120862170230566
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent LLM-based Text-to-SQL methods usually suffer from significant performance degradation on "huge" databases and complex user questions that require multi-step reasoning. Moreover, most existing methods neglect the crucial significance of LLMs utilizing external tools and model collaboration. To address these challenges, we introduce MAC-SQL, a novel LLM-based multi-agent collaborative framework. Our framework comprises a core decomposer agent for Text-to-SQL generation with few-shot chain-of-thought reasoning, accompanied by two auxiliary agents that utilize external tools or models to acquire smaller sub-databases and refine erroneous SQL queries. The decomposer agent collaborates with auxiliary agents, which are activated as needed and can be expanded to accommodate new features or tools for effective Text-to-SQL parsing. In our framework, We initially leverage GPT-4 as the strong backbone LLM for all agent tasks to determine the upper bound of our framework. We then fine-tune an open-sourced instruction-followed model, SQL-Llama, by leveraging Code Llama 7B, to accomplish all tasks as GPT-4 does. Experiments show that SQL-Llama achieves a comparable execution accuracy of 43.94, compared to the baseline accuracy of 46.35 for vanilla GPT-4. At the time of writing, MAC-SQL+GPT-4 achieves an execution accuracy of 59.59 when evaluated on the BIRD benchmark, establishing a new state-of-the-art (SOTA) on its holdout test set (https://github.com/wbbeyourself/MAC-SQL).
• Abstract（参考訳）: 近年の LLM ベースの Text-to-SQL メソッドは "巨大な" データベースや,マルチステップ推論を必要とする複雑なユーザ質問に対して,パフォーマンスが著しく低下している。 さらに、既存のほとんどの手法は、外部ツールやモデルコラボレーションを利用したLLMの重要な重要性を無視している。 これらの課題に対処するために,新しいLLMベースのマルチエージェント協調フレームワークであるMAC-SQLを紹介する。 本フレームワークは,外部ツールやモデルを用いてより小さなサブデータベースを取得し,誤ったSQLクエリを精査する2つの補助エージェントを伴って,数発の連鎖推論によるテキストからSQL生成のためのコアデコンポーザエージェントで構成されている。 Decomposerエージェントは、必要に応じてアクティベートされ、Text-to-SQLパースのための新機能やツールに対応するために拡張可能な補助エージェントと協調する。 我々のフレームワークでは、まず、GPT-4 を全てのエージェントタスクの強力なバックボーン LLM として利用し、フレームワークの上限を決定する。 次に、Code Llama 7Bを活用して、オープンソースの命令フォローモデルSQL-Llamaを微調整し、GPT-4のように全てのタスクを達成します。 実験によると、SQL-Llama はバニラ GPT-4 のベースライン精度 46.35 と比較して 43.94 の実行精度を達成している。 執筆時点で、MAC-SQL+GPT-4はBIRDベンチマークで評価すると59.59の実行精度を達成し、そのホールドアウトテストセット(https://github.com/wbbeyourself/MAC-SQL)上に新しい最先端(SOTA)を確立する。

関連論文リスト

• Enhancing LLM Fine-tuning for Text-to-SQLs by SQL Quality Measurement [1.392448435105643]
  Text-to-sにより、専門家でないユーザは、自然言語クエリを使用してデータベースから要求された情報を取得することができる。 GPT4やT5のような現在の最先端(SOTA)モデルは、BIRDのような大規模ベンチマークで素晴らしいパフォーマンスを示している。 本稿では,テキスト・ツー・ス・パフォーマンスを向上させるためにSQL Qualityのみを必要とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T17:21:51Z)
• PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
  大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。 本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
  論文  参考訳（メタデータ） (2024-09-21T09:33:14Z)
• MAG-SQL: Multi-Agent Generative Approach with Soft Schema Linking and Iterative Sub-SQL Refinement for Text-to-SQL [15.824894030016187]
  近年,テキスト・トゥ・コンテクスト・タスクにおいて,インコンテキスト・ラーニングに基づく手法が顕著な成功を収めている。 これらのモデルのパフォーマンスと、複雑なデータベーススキーマを持つデータセット上でのヒューマンパフォーマンスとの間には、依然として大きなギャップがあります。 本フレームワークでは,データベース内の列の選択にテーブルの要約を含むエンティティベースの手法を用い,それらの複雑な質問を分解するために,新たな目標条件分解手法を導入する。
  論文  参考訳（メタデータ） (2024-08-15T04:57:55Z)
• SQLfuse: Enhancing Text-to-SQL Performance through Comprehensive LLM Synergy [24.919119901664843]
  本稿では,オープンソースのLarge Language Models(LLM)を,クエリの精度とユーザビリティを高めるための一連のツールに統合する,堅牢なシステムを提案する。 Ant GroupによるSpider Leaderboardとデプロイメントのリードパフォーマンスによって実証された。
  論文  参考訳（メタデータ） (2024-07-19T06:01:57Z)
• RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
  文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。 実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-07-11T08:19:58Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• Blar-SQL: Faster, Stronger, Smaller NL2SQL [0.0]
  データベースの理解とクエリ生成において,タスクの分解が大規模言語モデル(LLM)に大きな利益をもたらすことを示す。 我々は、より多くの情報を限られたコンテキストに適合させるために、スキーマをチャンクに分割する新しいフレームワークを提案する。 その結果,GPT-4はGPT-4の135倍,90倍,100倍以上の速さであった。
  論文  参考訳（メタデータ） (2024-01-04T16:50:52Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。