論文の概要: Optimizing Small Language Models for NL2SQL via Chain-of-Thought Fine-Tuning

• arxiv url: http://arxiv.org/abs/2603.22942v1
• Date: Tue, 24 Mar 2026 08:39:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.382997
• Title: Optimizing Small Language Models for NL2SQL via Chain-of-Thought Fine-Tuning
• Title（参考訳）: チェーン・オブ・ソートファインチューニングによるNL2SQLの小型言語モデル最適化
• Authors: Anshul Solanki, Sanchit Latawa, Koushik Chakraborty, Navneet Kamboj,
• Abstract要約: 本稿では,NL2タスクにおける大小言語モデルと小言語モデルの両方の微調整の有効性について検討する。 我々の研究は反直感的なスケーリング現象を明らかにしている。 微調整により、小型モデルのベースラインが36%から45%に改善され、明示的なチェーン・オブ・ソート推論によるデータセットが54.5%に向上した。
• 参考スコア（独自算出の注目度）: 0.2519906683279153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Translating Natural Language to SQL (NL2SQL) remains a critical bottleneck for democratization of data in enterprises. Although Large Language Models (LLMs) like Gemini 2.5 and other LLMs have demonstrated impressive zero-shot capabilities, their high inference costs limit deployment at scale. This paper explores the efficacy of fine-tuning both large and small language models on NL2SQL tasks. Our research reveals a counter-intuitive scaling phenomenon. Fine-tuning large models (Gemini 2.5 Flash/Lite) on standard datasets yields negligible returns, often leading to overfitting on complex queries. Conversely, small models (Qwen) show significant gains. Fine-tuning improved the small model baseline from 36% to 45%, and further enriching the dataset with explicit Chain-of-Thought (CoT) reasoning surged accuracy to 54.5%(Fig 2). While this is still lower than the accuracy of large models like Gemini 2.5 , it does serve the business goal of significant cost reduction, latency in inference time and also meeting the business critical performance accuracy threshold.This paper demonstrates that transferring reasoning patterns enables compute-efficient smaller models to approach production-grade performance.
• Abstract（参考訳）: 自然言語からSQLへの変換(NL2SQL)は、企業におけるデータの民主化において、依然として重要なボトルネックである。 Gemini 2.5や他のLLMのようなLarge Language Models (LLMs)は、目覚ましいゼロショット機能を示しているが、その高い推論コストは、大規模デプロイメントを制限している。 本稿では,NL2SQLタスクにおける大小言語モデルの微調整の有効性について検討する。 我々の研究は反直感的なスケーリング現象を明らかにしている。 標準データセット上の微調整された大きなモデル(Gemini 2.5 Flash/Lite)は無視可能なリターンをもたらし、複雑なクエリに過度に適合する。 逆に、小さなモデル(Qwen)は大きな利益を示す。 微調整により、小型モデルのベースラインは36%から45%に改善され、明示的なChain-of-Thought (CoT)推論によりデータセットを54.5%(図2)に高められた。 これはまだGemini 2.5のような大規模モデルの精度よりも低いが、大きなコスト削減、推論時間の遅延、ビジネス上の重要なパフォーマンス精度の閾値を満たすビジネス目標に役立っている。

関連論文リスト

• Improving the Robustness of Large Language Models for Code Tasks via Fine-tuning with Perturbed Data [10.698357983420928]
  本研究の目的は,大規模言語モデルの潜在的な逆入力に対する堅牢性を改善することである。 文字レベル, 単語レベル, 文レベルで摂動したデータセットを用いて, 微調整モデルを用いて頑健さを体系的に評価した。 摂動データセットを持つ微調整モデルは、モデル堅牢性(RDは通常4%から6%程度低下する)を著しく改善する。
  論文  参考訳（メタデータ） (2026-02-11T22:30:01Z)
• Robust LLM-based Column Type Annotation via Prompt Augmentation with LoRA Tuning [0.749377967268953]
  カラムタイプ。 CTAはスキーマアライメントとセマンティック理解を実現するための基本的なステップです。 既存のエンコーダのみの言語モデルでは,ラベル付き列を微調整すると高い精度が得られる。 本稿では,CTAのパラメータ効率向上のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-28T02:04:17Z)
• Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression [53.39128997308138]
  テキスト圧縮性能に基づくモデル効率の指標である情報容量を導入する。 主流のオープンソースモデルに対する実証的な評価は、シリーズ内のさまざまなサイズのモデルが一貫した情報容量を示すことを示している。 情報容量の特徴的な特徴は、入力と出力の両方のトークン数に影響を与えるトークン化効率が組み込まれていることである。
  論文  参考訳（メタデータ） (2025-11-11T10:07:32Z)
• Breaking the Myth: Can Small Models Infer Postconditions Too? [15.725275719200303]
  小型の微調整言語モデルにより,計算コストを大幅に削減して高品質な後条件生成を実現することができることを示す。 われわれのアプローチは、実世界のリポジトリの依存関係に取り組み、プレステート情報を保存し、表現的で正確な仕様を作成できる。
  論文  参考訳（メタデータ） (2025-07-14T11:44:04Z)
• EpiCoDe: Boosting Model Performance Beyond Training with Extrapolation and Contrastive Decoding [50.29046178980637]
  EpiCoDeは、余分なトレーニングなしでデータスカシティシナリオにおけるモデルパフォーマンスを向上させる方法である。 EpiCoDeは、既存のメソッドよりも大幅に、堅牢に改善されていることを示す。
  論文  参考訳（メタデータ） (2025-06-04T02:11:54Z)
• InkubaLM: A small language model for low-resource African languages [9.426968756845389]
  InkubaLMは0.4億のパラメータを持つ小さな言語モデルである。 パラメータ数が大幅に大きいモデルに匹敵するパフォーマンスを実現する。 複数の言語にまたがる顕著な一貫性を示す。
  論文  参考訳（メタデータ） (2024-08-30T05:42:31Z)
• DTS-SQL: Decomposed Text-to-SQL with Small Large Language Models [7.388002745070808]
  本稿では,タスクを2つの単純なタスクに分解する,新しい2段階の微調整手法を提案する。 このアプローチは実行精度を3～7%向上させる。
  論文  参考訳（メタデータ） (2024-02-02T03:21:00Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)
• Speculative Decoding with Big Little Decoder [108.95187338417541]
  Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。 NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。 私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
  論文  参考訳（メタデータ） (2023-02-15T18:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。