論文の概要: SQLForge: Synthesizing Reliable and Diverse Data to Enhance Text-to-SQL Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2505.13725v1
• Date: Mon, 19 May 2025 20:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.53797
• Title: SQLForge: Synthesizing Reliable and Diverse Data to Enhance Text-to-SQL Reasoning in LLMs
• Title（参考訳）: SQLForge: LLMにおけるテキストからSQLへの推論を促進するために、信頼性とディバースデータを合成する
• Authors: Yu Guo, Dong Jin, Shenghao Ye, Shuangwu Chen, Jian Yang, Xiaobin Tan,
• Abstract要約: 大規模言語モデル(LLM)は、テキストからテンプレートへの推論タスクにおいて大きな可能性を証明している。 しかし、オープンソースモデルとクローズドソースモデルの間には、大幅なパフォーマンスギャップが持続している。 信頼性と多様なデータを合成するための新しいアプローチであるSQLForgeを紹介します。
• 参考スコア（独自算出の注目度）: 17.91039683592367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language models (LLMs) have demonstrated significant potential in text-to-SQL reasoning tasks, yet a substantial performance gap persists between existing open-source models and their closed-source counterparts. In this paper, we introduce SQLForge, a novel approach for synthesizing reliable and diverse data to enhance text-to-SQL reasoning in LLMs. We improve data reliability through SQL syntax constraints and SQL-to-question reverse translation, ensuring data logic at both structural and semantic levels. We also propose an SQL template enrichment and iterative data domain exploration mechanism to boost data diversity. Building on the augmented data, we fine-tune a variety of open-source models with different architectures and parameter sizes, resulting in a family of models termed SQLForge-LM. SQLForge-LM achieves the state-of-the-art performance on the widely recognized Spider and BIRD benchmarks among the open-source models. Specifically, SQLForge-LM achieves EX accuracy of 85.7% on Spider Dev and 59.8% on BIRD Dev, significantly narrowing the performance gap with closed-source methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキストからSQLへの推論タスクにおいて大きな可能性を証明している。 本稿では, LLMにおけるテキストからSQLへの推論を強化するために, 信頼性と多種多様なデータを合成する新しいアプローチであるSQLForgeを紹介する。 我々は、SQL構文制約とSQLから要求への逆変換によってデータの信頼性を改善し、データロジックを構造レベルと意味レベルの両方で保証する。 また、データの多様性を高めるために、SQLテンプレートの強化と反復的なデータドメイン探索機構を提案する。 拡張データに基づいて、異なるアーキテクチャとパラメータサイズを持つさまざまなオープンソースモデルを微調整し、SQLForge-LMと呼ばれるモデルのファミリーを形成します。 SQLForge-LMは、オープンソースのモデルの中で広く認識されているSpiderとBIRDベンチマークの最先端のパフォーマンスを達成する。 具体的には、SQLForge-LMは、Spider Devで85.7%、BIRD Devで59.8%の精度を実現し、クローズドソースメソッドでのパフォーマンスギャップを著しく狭めている。

関連論文リスト

• Solid-SQL: Enhanced Schema-linking based In-context Learning for Robust Text-to-SQL [13.122218546167463]
  大規模言語モデル(LLM)は、テキスト・ツー・システムの性能を大幅に改善した。 多くのSOTA(State-of-the-art)アプローチは、システムの堅牢性の重要な側面を見落としている。
  論文  参考訳（メタデータ） (2024-12-17T04:22:22Z)
• MSc-SQL: Multi-Sample Critiquing Small Language Models For Text-To-SQL Translation [10.205010004198757]
  テキスト・ツー・ジェネレーションは、非専門家が自然言語でデータベースと対話することを可能にする。 GPT-4のような大規模クローズドソースモデルの最近の進歩は、アクセシビリティ、プライバシ、レイテンシの課題を提示している。 我々は、小型で効率的でオープンソースのテキスト・ツー・ジェネレーション・モデルの開発に注力する。
  論文  参考訳（メタデータ） (2024-10-16T18:03:24Z)
• Synthesizing Text-to-SQL Data from Weak and Strong LLMs [68.69270834311259]
  オープンソースとクローズドソースの大規模言語モデル(LLM)の能力ギャップは、テキスト・トゥ・タスクにおいて依然として課題である。 より大規模で強力なモデルによって生成されたデータと、より小さく、不整合なモデルによって生成されたエラー情報データを組み合わせた合成データアプローチを導入する。
  論文  参考訳（メタデータ） (2024-08-06T15:40:32Z)
• SQLfuse: Enhancing Text-to-SQL Performance through Comprehensive LLM Synergy [24.919119901664843]
  本稿では,オープンソースのLarge Language Models(LLM)を,クエリの精度とユーザビリティを高めるための一連のツールに統合する,堅牢なシステムを提案する。 Ant GroupによるSpider Leaderboardとデプロイメントのリードパフォーマンスによって実証された。
  論文  参考訳（メタデータ） (2024-07-19T06:01:57Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。