論文の概要: Reliable Text-to-SQL in Resource-Constrained Settings with Small LLMs via Iterative Retry Workflows
- arxiv url: http://arxiv.org/abs/2610.17305v1
- Date: Mon, 12 Oct 2026 18:59:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.443393
- Title: Reliable Text-to-SQL in Resource-Constrained Settings with Small LLMs via Iterative Retry Workflows
- Title(参考訳): 反復的再試行ワークフローによる小さなLLMを用いた資源制約設定における信頼性の高いテキストからSQL
- Abstract要約: 本稿では,小・中規模のオープンソース言語モデル (1B-8B) のテキスト・ツー・ジェネレーション能力について,制御された推論予算の下で評価する。
Spiderベンチマークを用いて、複数のプロンプト表現を比較し、生成されたクエリの精度を評価する。
障害が発生した場合、代替のプロンプトや/またはモデルで自動的にリトライする3つの軽量推論モデルは、エンドツーエンドの成功率を大幅に改善する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have recently improved Text-to-SQL generation, but their computational cost can hinder deployment in resource-constrained settings. This paper evaluates the Text-to-SQL capabilities of small and medium open-source LLMs (1B-8B parameters) under a controlled inference budget, focusing on how model specialization and prompt formulation affect performance. Using the Spider benchmark, we compare multiple prompt representations and assess the accuracy of generated queries. Our results show that SQL-specialized models are consistently more reliable than general-purpose and chat-oriented models at small scales, and that performance can vary substantially depending on the prompt used. To reduce this variability without resorting to larger models, we introduce three lightweight inference workflows that automatically retry with alternative prompts and/or models when failures occur, including an optional syntax-correction step. These workflows significantly improve end-to-end success rates, with a trade-off in additional inference calls. These results demonstrate a practical path to stronger Text-to-SQL performance with small LLMs, by trading modest additional inference cost for higher reliability.
- Abstract(参考訳): 大規模言語モデル(LLM)は最近、テキストからSQL生成を改善したが、その計算コストは、リソース制約のある設定でのデプロイメントを妨げる可能性がある。
本稿では,小・中規模のオープンソース LLM (1B-8B パラメータ) のテキスト・トゥ・SQL 機能の評価を行い,モデル特殊化と迅速な定式化が性能に与える影響に着目した。
Spiderベンチマークを用いて、複数のプロンプト表現を比較し、生成されたクエリの精度を評価する。
以上の結果から,SQL特化モデルは小規模で汎用モデルやチャット指向モデルよりも信頼性が高く,使用するプロンプトによって性能が著しく異なることが示唆された。
大規模なモデルに頼らずに、この変動を低減するために、3つの軽量推論ワークフローを導入し、オプションの構文修正ステップを含む、障害発生時に代替プロンプトや/またはモデルで自動的にリトライする。
これらのワークフローは、追加の推論コールのトレードオフによって、エンドツーエンドの成功率を大幅に改善する。
これらの結果から,より信頼性の高い追加推論コストのトレーディングにより,小さな LLM でテキスト-SQL 性能を向上する実践的な方法が示された。
関連論文リスト
- Rethinking Agentic Workflows: Evaluating Inference-Based Test-Time Scaling Strategies in Text2SQL Tasks [21.891522433628893]
大規模言語モデル(LLM)はText-to-(Text2)システムにますます力を入れている。
テストタイムのスケーリング戦略はLLMベースのソリューションでは有望だが、現実のアプリケーション、特に最新の推論モデルでは、その有効性は不確実である。
この作業は、Text2システムをデプロイする際の正確性、効率、複雑さの間の実践的なトレードオフに光を当てています。
論文 参考訳(メタデータ) (2025-10-13T01:29:54Z) - SHARE: An SLM-based Hierarchical Action CorREction Assistant for Text-to-SQL [18.493226915913638]
テキスト・トゥ・コレクションのためのSLMに基づく階層的行動補正アシスタントSHAREを提案する。
SHAREはシーケンシャルパイプラインで3つの特殊小言語モデル(SLM)を編成する。
実験により,SHAREは様々なLSMに対して堅牢性を示しながら,自己補正能力を効果的に向上することが示された。
論文 参考訳(メタデータ) (2025-05-31T04:51:12Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳(メタデータ) (2024-09-30T10:48:20Z) - Synthesizing Text-to-SQL Data from Weak and Strong LLMs [68.69270834311259]
オープンソースとクローズドソースの大規模言語モデル(LLM)の能力ギャップは、テキスト・トゥ・タスクにおいて依然として課題である。
より大規模で強力なモデルによって生成されたデータと、より小さく、不整合なモデルによって生成されたエラー情報データを組み合わせた合成データアプローチを導入する。
論文 参考訳(メタデータ) (2024-08-06T15:40:32Z) - Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文 参考訳(メタデータ) (2023-08-29T14:59:54Z) - DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with
Self-Correction [7.388002745070808]
本研究では、生成問題をサブプロブレムに分解し、それらのサブプロブレムの解を大規模言語モデルに供給する方法について検討する。
文脈内学習による我々のアプローチは、多くの微調整されたモデルを少なくとも5%上回っている。
論文 参考訳(メタデータ) (2023-04-21T15:02:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。