論文の概要: ROUTE: Robust Multitask Tuning and Collaboration for Text-to-SQL

• arxiv url: http://arxiv.org/abs/2412.10138v1
• Date: Fri, 13 Dec 2024 13:41:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:11.627640
• Title: ROUTE: Robust Multitask Tuning and Collaboration for Text-to-SQL
• Title（参考訳）: ROUTE: テキストからSQLへのロバストなマルチタスクチューニングとコラボレーション
• Authors: Yang Qin, Chao Chen, Zhihang Fu, Ze Chen, Dezhong Peng, Peng Hu, Jieping Ye,
• Abstract要約: 我々は,オープンソースのText2用LLMの包括的機能を改善するために,RObust mUltitask Tuning and collaboration mEthod (ROUTE)を提案する。 提案手法は,tosql生成に関する各種合成トレーニングデータを用いて,マルチタスク制御ファインチューニング(SFT)から始める。 また,マルチタスク・コラボレーション・プロンプティング(MCP)戦略を導入し,スクル生成時の幻覚を低減する。
• 参考スコア（独自算出の注目度）: 42.019659095480726
• License:
• Abstract: Despite the significant advancements in Text-to-SQL (Text2SQL) facilitated by large language models (LLMs), the latest state-of-the-art techniques are still trapped in the in-context learning of closed-source LLMs (e.g., GPT-4), which limits their applicability in open scenarios. To address this challenge, we propose a novel RObust mUltitask Tuning and collaboration mEthod (ROUTE) to improve the comprehensive capabilities of open-source LLMs for Text2SQL, thereby providing a more practical solution. Our approach begins with multi-task supervised fine-tuning (SFT) using various synthetic training data related to SQL generation. Unlike existing SFT-based Text2SQL methods, we introduced several additional SFT tasks, including schema linking, noise correction, and continuation writing. Engaging in a variety of SQL generation tasks enhances the model's understanding of SQL syntax and improves its ability to generate high-quality SQL queries. Additionally, inspired by the collaborative modes of LLM agents, we introduce a Multitask Collaboration Prompting (MCP) strategy. This strategy leverages collaboration across several SQL-related tasks to reduce hallucinations during SQL generation, thereby maximizing the potential of enhancing Text2SQL performance through explicit multitask capabilities. Extensive experiments and in-depth analyses have been performed on eight open-source LLMs and five widely-used benchmarks. The results demonstrate that our proposal outperforms the latest Text2SQL methods and yields leading performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)によって促進されたText-to-SQL(Text2SQL)の大幅な進歩にもかかわらず、最新の最先端技術は、オープンシナリオにおける適用性を制限する、クローズドソースLLM(例:GPT-4)のコンテキスト内学習に依然として閉じ込められている。 この課題に対処するため,新しいRObust mUltitask Tuning and collaboration mEthod (ROUTE)を提案する。 提案手法は,SQL生成に関する各種合成トレーニングデータを用いて,マルチタスク制御による微調整(SFT)から始める。 既存のSFTベースのText2SQLメソッドとは異なり、スキーマリンク、ノイズ修正、継続書き込みなど、いくつかのSFTタスクを導入しました。 さまざまなSQL生成タスクを導入することで、モデルのSQL構文の理解が向上し、高品質なSQLクエリを生成する能力が改善される。 さらに、LLMエージェントの協調モードに触発され、マルチタスクコラボレーション・プロンプティング(MCP)戦略を導入する。 この戦略は、SQL関連タスク間のコラボレーションを活用して、SQL生成時の幻覚を減らすことにより、明示的なマルチタスク機能を通じてText2SQLパフォーマンスを最大化する。 8つのオープンソースLCMと5つの広く使用されているベンチマークで、大規模な実験と詳細な分析が行われた。 その結果,提案手法は最新のText2SQLメソッドよりも優れており,高い性能が得られることがわかった。

関連論文リスト

• PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
  大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。 本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
  論文  参考訳（メタデータ） (2024-09-21T09:33:14Z)
• SQLfuse: Enhancing Text-to-SQL Performance through Comprehensive LLM Synergy [24.919119901664843]
  本稿では,オープンソースのLarge Language Models(LLM)を,クエリの精度とユーザビリティを高めるための一連のツールに統合する,堅牢なシステムを提案する。 Ant GroupによるSpider Leaderboardとデプロイメントのリードパフォーマンスによって実証された。
  論文  参考訳（メタデータ） (2024-07-19T06:01:57Z)
• CoE-SQL: In-Context Learning for Multi-Turn Text-to-SQL with Chain-of-Editions [22.493487741249716]
  大規模言語モデル(LLM)は、様々なドメインやタスクにおいて印象的な機能を持つことが実証されている。 マルチターンテキスト・ツー・タスクにおけるプロンプト設計の問題について検討し,LLMの推論能力の向上を図る。
  論文  参考訳（メタデータ） (2024-05-04T16:56:14Z)
• SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data [54.69489315952524]
  Prompt"は、Text-to-LLMのいくつかのショットプロンプト機能を改善するように設計されている。 Prompt"は、ラベル付きデータが少なく、テキスト内学習における従来のアプローチよりも大きなマージンで優れている。 emphPromptはテキスト内学習における従来の手法よりも優れており,ラベル付きデータはほとんどない。
  論文  参考訳（メタデータ） (2023-11-06T05:24:06Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Divide and Prompt: Chain of Thought Prompting for Text-to-SQL [0.03807314298073299]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)と組み合わせることで,複雑な推論タスクの促進的な結果が得られた。 本稿では,まずタスクをサブタスクに分割し,次にCoTを介して各サブタスクにアプローチするDivide-and-Promptを提案する。
  論文  参考訳（メタデータ） (2023-04-23T06:52:35Z)
• MIGA: A Unified Multi-task Generation Framework for Conversational Text-to-SQL [48.34333725045152]
  ほとんどの最先端の対話型テキスト生成手法は、T5のような事前訓練された言語モデル(PLM)と互換性がない。 PLMの対話型テキスト処理能力を活用した2段階統合MultI-task frAmeme(MIGA)を提案する。
  論文  参考訳（メタデータ） (2022-12-19T07:14:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。