論文の概要: Knowledge Distillation with Structured Chain-of-Thought for Text-to-SQL

• arxiv url: http://arxiv.org/abs/2512.17053v1
• Date: Thu, 18 Dec 2025 20:41:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.166351
• Title: Knowledge Distillation with Structured Chain-of-Thought for Text-to-SQL
• Title（参考訳）: テキストからSQLへの構造化連鎖による知識蒸留
• Authors: Khushboo Thaker, Yony Bresler,
• Abstract要約: 現在のソリューションは、企業に対して、高価でプロプライエタリなLarge Language Models (LLM) と低パフォーマンスのSmall Language Models (SLM) を選択せざるを得ない。 テキスト・ツー・タスクは明示的で正確な論理ステップを必要とするため,形式的,構造化された推論表現は,より明確で信頼性の高い教示信号を提供する。 構造CoTで蒸留したSLMは,非構造CoT蒸留ベースラインよりも8.1%の絶対的な改善を実現している。
• 参考スコア（独自算出の注目度）: 2.5168553347063853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying accurate Text-to-SQL systems at the enterprise level faces a difficult trilemma involving cost, security and performance. Current solutions force enterprises to choose between expensive, proprietary Large Language Models (LLMs) and low-performing Small Language Models (SLMs). Efforts to improve SLMs often rely on distilling reasoning from large LLMs using unstructured Chain-of-Thought (CoT) traces, a process that remains inherently ambiguous. Instead, we hypothesize that a formal, structured reasoning representation provides a clearer, more reliable teaching signal, as the Text-to-SQL task requires explicit and precise logical steps. To evaluate this hypothesis, we propose Struct-SQL, a novel Knowledge Distillation (KD) framework that trains an SLM to emulate a powerful large LLM. Consequently, we adopt a query execution plan as a formal blueprint to derive this structured reasoning. Our SLM, distilled with structured CoT, achieves an absolute improvement of 8.1% over an unstructured CoT distillation baseline. A detailed error analysis reveals that a key factor in this gain is a marked reduction in syntactic errors. This demonstrates that teaching a model to reason using a structured logical blueprint is beneficial for reliable SQL generation in SLMs.
• Abstract（参考訳）: エンタープライズレベルで正確なText-to-SQLシステムをデプロイするのは、コスト、セキュリティ、パフォーマンスに関わる難しいトリレンマに直面します。 現在のソリューションでは、企業は高価でプロプライエタリなLarge Language Models (LLM) と低パフォーマンスのSmall Language Models (SLM) を選択せざるを得ない。 SLMの改良への取り組みは、非構造化のCoT(Chain-of-Thought)トレースを用いて、大きなLLMからの蒸留による推論に依存することが多い。 その代わり、形式的で構造化された推論表現は、テキストからSQLへのタスクが明示的で正確な論理ステップを必要とするため、より明確で信頼性の高い教育信号を提供するという仮説を立てる。 この仮説を評価するために,SLMを訓練し,強力なLLMをエミュレートする新しい知識蒸留(KD)フレームワークであるStruct-SQLを提案する。 したがって、この構造化推論を導出するために、クエリ実行計画を正式な青写真として採用する。 構造CoTで蒸留したSLMは,非構造CoT蒸留ベースラインよりも8.1%の絶対的な改善を実現している。 詳細なエラー解析により、このゲインの重要な要因は、構文的誤りの顕著な減少であることが明らかとなった。 これは、構造化された論理的青写真を用いてモデルに推論を教えることは、SLMにおける信頼できるSQL生成にとって有益であることを示している。

関連論文リスト

• Enhancing Large Language Models through Structured Reasoning [15.472375478049823]
  本稿では,Large Language Models (LLM) を明示的構造化推論により拡張する新しい手法を提案する。 まず、非構造化データを明示的に推論ステップをアノテートすることで構造化形式に変換する。 次に、この構造化データセットを使用して、監視ファインチューニング(SFT)を通してLLMをトレーニングする。
  論文  参考訳（メタデータ） (2025-06-25T08:36:12Z)
• LLM-Symbolic Integration for Robust Temporal Tabular Reasoning [69.27153114778748]
  本研究では,システムおよび制御された評価のための合成データセットであるTempTabQA-Cを紹介する。 この構造化アプローチにより、LLM(Large Language Models)はsqlクエリの生成と実行を可能にし、一般化とバイアス軽減の強化を行う。
  論文  参考訳（メタデータ） (2025-06-06T05:14:04Z)
• SHARE: An SLM-based Hierarchical Action CorREction Assistant for Text-to-SQL [18.493226915913638]
  テキスト・トゥ・コレクションのためのSLMに基づく階層的行動補正アシスタントSHAREを提案する。 SHAREはシーケンシャルパイプラインで3つの特殊小言語モデル(SLM)を編成する。 実験により,SHAREは様々なLSMに対して堅牢性を示しながら,自己補正能力を効果的に向上することが示された。
  論文  参考訳（メタデータ） (2025-05-31T04:51:12Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。