論文の概要: SLM-SQL: An Exploration of Small Language Models for Text-to-SQL
- arxiv url: http://arxiv.org/abs/2507.22478v1
- Date: Wed, 30 Jul 2025 08:29:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-31 16:14:18.09645
- Title: SLM-SQL: An Exploration of Small Language Models for Text-to-SQL
- Title（参考訳）: SLM-SQL: テキストからSQLへの小さな言語モデルの探索
- Authors: Lei Sheng, Shuai-Shuai Xu,
- Abstract要約: 小型言語モデル(SLM)は、エッジデプロイメントに適した推論速度と適合性に固有のアドバンテージを提供する。
ポストトレーニング技術の最近の進歩を活用して、Textto- Applicationsを探索する。
実験により,本手法の有効性と一般化性について検証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated strong performance in translating natural language questions into SQL queries (Text-to-SQL). In contrast, small language models (SLMs) ranging from 0.5B to 1.5B parameters currently underperform on Text-to-SQL tasks due to their limited logical reasoning capabilities. However, SLMs offer inherent advantages in inference speed and suitability for edge deployment. To explore their potential in Text-to-SQL applications, we leverage recent advancements in post-training techniques. Specifically, we used the open-source SynSQL-2.5M dataset to construct two derived datasets: SynSQL-Think-916K for SQL generation and SynSQL-Merge-Think-310K for SQL merge revision. We then applied supervised fine-tuning and reinforcement learning-based post-training to the SLM, followed by inference using a corrective self-consistency approach. Experimental results validate the effectiveness and generalizability of our method, SLM-SQL. On the BIRD development set, the five evaluated models achieved an average improvement of 31.4 points. Notably, the 0.5B model reached 56.87\% execution accuracy (EX), while the 1.5B model achieved 67.08\% EX. We will release our dataset, model, and code to github: https://github.com/CycloneBoy/slm_sql.
- Abstract（参考訳）: 大きな言語モデル(LLM)は、自然言語の質問をSQLクエリ(Text-to-SQL)に変換する上で、強力なパフォーマンスを示している。
対照的に、SLM(Small Language Model)は0.5Bから1.5Bまでのパラメータで、論理的推論能力に制限があるため、現在Text-to-SQLタスクでは性能が劣っている。
しかし、SLMは推論速度とエッジデプロイメントに適した点に固有のアドバンテージを提供する。
Text-to-SQLアプリケーションにおけるその可能性を探るため、ポストトレーニング技術の最近の進歩を活用します。
具体的には、オープンソースのSynSQL-2.5Mデータセットを使用して、SQL生成用のSynSQL-Think-916KとSQLマージリビジョン用のSynSQL-Merge-Think-310Kという、2つの派生データセットを構築しました。
次に、教師付き微調整と強化学習に基づくポストトレーニングをSLMに適用し、その後、修正的自己整合性アプローチを用いて推論を行った。
実験の結果,SLM-SQLの有効性と一般化性について検証した。
BIRDの開発セットでは、5つの評価されたモデルは平均31.4点の改善を達成した。
特に0.5Bモデルは56.87\%の実行精度(EX)に達し、1.5Bモデルは67.08\%EXを達成した。
データセット、モデル、コードをgithub.com/CycloneBoy/slm_sqlにリリースします。
関連論文リスト
- CogniSQL-R1-Zero: Lightweight Reinforced Reasoning for Efficient SQL Generation [1.169202600932732]
本稿では,強化学習(RL)フレームワークとモデルであるCogni-R1-Zeroを紹介する。
我々は、実行の正しさとフォーマットタグのコンプライアンスに基づく軽量な報酬信号を使用する。
提案手法は,Text2ベンチマーク上での最先端実行精度を実現する。
効率的かつ解釈可能なテキスト・ツー・コード・モデリングのさらなる研究を支援するために、2つのキュレートされたデータセットをリリースする。
論文 参考訳（メタデータ） (2025-07-08T14:17:07Z) - SDE-SQL: Enhancing Text-to-SQL Generation in Large Language Models via Self-Driven Exploration with SQL Probes [10.672822970425404]
本研究では,大規模言語モデルによる推論中のデータベースの自己駆動探索を可能にするフレームワークであるSDE-を提案する。
従来の方法とは異なり、SDE-はin-contextのデモとして質問コンテキストペアに頼ることなく、ゼロショット設定で動作する。
論文 参考訳（メタデータ） (2025-06-08T18:01:26Z) - SQLForge: Synthesizing Reliable and Diverse Data to Enhance Text-to-SQL Reasoning in LLMs [17.91039683592367]
大規模言語モデル(LLM)は、テキストからテンプレートへの推論タスクにおいて大きな可能性を証明している。
しかし、オープンソースモデルとクローズドソースモデルの間には、大幅なパフォーマンスギャップが持続している。
信頼性と多様なデータを合成するための新しいアプローチであるSQLForgeを紹介します。
論文 参考訳（メタデータ） (2025-05-19T20:51:29Z) - ExCoT: Optimizing Reasoning for Text-to-SQL with Execution Feedback [49.21833666405111]
大規模言語モデル(LLM)は、多くの推論タスクにおいて優れているが、Chain-of-Thought(CoT)推論を活用する能力はいまだに未定である。
我々は,オープンソース LLM を反復的に最適化する新しいフレームワークである ExCoT を提案する。
論文 参考訳（メタデータ） (2025-03-25T18:17:36Z) - Feather-SQL: A Lightweight NL2SQL Framework with Dual-Model Collaboration Paradigm for Small Language Models [22.960560371494832]
小型言語モデル(SLM)はNL2タスクと競合し、パフォーマンスが悪く、既存のフレームワークと互換性がない。
SLMに適した新しい軽量フレームワークであるFeather- Paradigmを紹介します。
提案されたパラダイムは、SLMの精度の上限を54.76%に引き上げ、その有効性を強調している。
論文 参考訳（メタデータ） (2025-03-22T16:22:53Z) - MCTS-SQL: Light-Weight LLMs can Master the Text-to-SQL through Monte Carlo Tree Search [1.166711394125328]
Text-to-OTAは、NLP領域における基本的な課題である。
モンテカルロ木探索を用いた新しいフレームワークMCTS-OTAを提案する。
本稿では,反復中に事前情報を格納するトークンレベルのプレフィックスキャッシュ機構を提案する。
論文 参考訳（メタデータ） (2025-01-28T00:52:23Z) - RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。
ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。
提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
論文 参考訳（メタデータ） (2024-10-31T16:22:26Z) - SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data [54.69489315952524]
Prompt"は、Text-to-LLMのいくつかのショットプロンプト機能を改善するように設計されている。
Prompt"は、ラベル付きデータが少なく、テキスト内学習における従来のアプローチよりも大きなマージンで優れている。
emphPromptはテキスト内学習における従来の手法よりも優れており,ラベル付きデータはほとんどない。
論文 参考訳（メタデータ） (2023-11-06T05:24:06Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。
公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。
広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文 参考訳（メタデータ） (2023-05-25T17:19:52Z) - Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
我々は最近提案されたQDMR(QDMR)という意味表現を活用している。
質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。
本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
論文 参考訳（メタデータ） (2021-12-12T20:02:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。