論文の概要: SQuaD-SQL: Efficient Text-to-SQL with Small Language Models via LLM-Guided Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2607.08161v1
- Date: Thu, 09 Jul 2026 06:56:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.430629
- Title: SQuaD-SQL: Efficient Text-to-SQL with Small Language Models via LLM-Guided Knowledge Distillation
- Title（参考訳）: SQuaD-SQL: LLM-Guided Knowledge Distillationによる小さな言語モデルによるテキストからSQLへの効率的な変換
- Abstract要約: スモールランゲージモデル (SLM) は、知識蒸留と合成データ生成による効率を大幅に向上させながら、テキスト・トゥ・スモールタスクにおける大規模言語モデル (LLM) の性能にアプローチすることができる。
Wikiデータセットの実験では、SQuaD-Smallはテストセット上で86.9%の実行精度を達成し、推論の高速化とメモリ使用量の削減を実現している。
- 参考スコア（独自算出の注目度）: 10.706234312157278
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-SQL is a fundamental task in natural language processing that enables users to interact with structured databases using natural language. While large language models (LLMs) have demonstrated remarkable performance on this task, their substantial computational requirements hinder deployment in resource-constrained settings. In this paper, we introduce SQuaD-SQL (Small-Qualified and Distilled for SQL), a novel approach that empowers small language models (SLMs) to approach the performance of LLMs on the Text-to-SQL task while significantly improving efficiency through knowledge distillation and synthetic data generation. Our method comprises three key components: (1) LLM-based synthetic data generation, where structured knowledge is extracted from LLMs via carefully designed prompting strategies; (2) parameter-efficient fine-tuning, enabling full model training on a single consumer-grade GPU; and (3) domain-adaptive fine-tuning, where domain-specific synthetic data further enhances performance in targeted domains. Experiments on the WikiSQL dataset demonstrate that SQuaD-SQL achieves an execution accuracy of 86.9% on the test set, approaching the performance of LLMs while offering faster inference and lower memory usage. These results suggest that, with proper training strategies, SLMs can serve as practical and efficient alternatives for Text-to-SQL applications in resource-limited environments.
- Abstract（参考訳）: Text-to-SQLは自然言語処理の基本的なタスクであり、自然言語を使って構造化データベースと対話できる。
大規模言語モデル(LLM)は、このタスクにおいて顕著な性能を示したが、その相当な計算要求は、リソース制約された設定への展開を妨げる。
本稿では,SQuaD-SQL(Small-Qualified and Distilled for SQL)について紹介する。これは,SLM(Small-Qualified and Distilled for SQL)を用いて,知識蒸留や合成データ生成による効率の向上を図りながら,テキスト-SQLタスク上でのLLMの性能にアプローチするための,SLM(Small-Qualified and Distilled for SQL)の新たなアプローチである。
提案手法は, (1) LLMに基づく合成データ生成, (1) LLMから構造化知識を抽出する手法, (2) パラメータ効率の良い微調整, および (3) ドメイン適応微調整, (3) ドメイン固有合成データにより, 対象ドメインの性能をさらに向上させる。
WikiSQLデータセットの実験では、SQuaD-SQLがテストセット上で86.9%の実行精度を達成し、高速な推論とメモリ使用量の削減を実現した。
これらの結果は、適切なトレーニング戦略により、SLMはリソース制限された環境でのテキスト-SQLアプリケーションの実用的で効率的な代替手段として機能することを示唆している。
関連論文リスト
- LearNAT: Learning NL2SQL with AST-guided Task Decomposition for Large Language Models [28.17495423015754]
複雑なNL2タスクにおいて,タスク分解と強化学習により,LLM(Large Language Models)の性能を向上させる新しいフレームワークを提案する。
LearNATはGPT-4に匹敵する性能を実現し、効率とアクセシビリティを向上させる。
論文 参考訳（メタデータ） (2025-04-03T06:59:44Z) - OpenSearch-SQL: Enhancing Text-to-SQL with Dynamic Few-shot and Consistency Alignment [6.2089733671434875]
我々は,テキストからエージェントまでのタスクを,整合性アライメント機構に基づくアライメントモジュールとともに,前処理,抽出,生成,リファインメントの4つの主要なモジュールに分割するOpenSearch-を提案する。
これらの手法はテキスト・ツー・エージェント・タスクにおけるLLMの性能を大幅に向上させた。
実験の結果、OpenSearch-はBIRD開発セットで69.3%、テストセットで72.28%、報酬ベースの効率スコア(R-VES)で69.3で実行精度(EX)を達成した。
論文 参考訳（メタデータ） (2025-02-19T07:51:50Z) - Leveraging Prior Experience: An Expandable Auxiliary Knowledge Base for Text-to-SQL [0.5735035463793009]
大規模言語モデル(LLM)は多くのタスクにまたがる優れた問題解決スキルを示すが、テキスト・トゥ・コンテクストなど、下流の様々なアプリケーションでは人間に比較すると性能が劣っている。
LPE-Leveragingは,微調整を必要とせずに連続的な学習を可能にし,LLMを増強する新しいフレームワークである。
実験結果から,この連続学習手法が性能向上に寄与することが示唆された。
論文 参考訳（メタデータ） (2024-11-20T12:03:17Z) - Learning from Imperfect Data: Towards Efficient Knowledge Distillation of Autoregressive Language Models for Text-to-SQL [83.99974309930072]
知識蒸留(KD)は、より大規模な教師モデルをより小さな学生モデルに蒸留することを目的とした一般的な手法である。
我々は,不完全なデータ,すなわちKIDを用いてKDを改善することを提案する。
KIDは、すべてのモデルタイプとサイズで一貫した、重要なパフォーマンス向上を達成するだけでなく、トレーニング効率を効果的に向上する。
論文 参考訳（メタデータ） (2024-10-15T07:51:00Z) - Relational Database Augmented Large Language Model [59.38841050766026]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。
彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。
この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
論文 参考訳（メタデータ） (2024-07-21T06:19:10Z) - RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。
In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。
実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-07-11T08:19:58Z) - TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。
本手法は,様々なベンチマーク上での局所モデル性能を向上させる。
また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
論文 参考訳（メタデータ） (2024-03-15T14:36:38Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳（メタデータ） (2023-08-29T14:59:54Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。