論文の概要: RetrySQL: text-to-SQL training with retry data for self-correcting query generation

• arxiv url: http://arxiv.org/abs/2507.02529v1
• Date: Thu, 03 Jul 2025 11:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:16.176459
• Title: RetrySQL: text-to-SQL training with retry data for self-correcting query generation
• Title（参考訳）: RetrySQL: 自己修正クエリ生成のためのリトライデータによるテキストからSQLへのトレーニング
• Authors: Alicja Rączkowska, Riccardo Belluzzo, Piotr Zieliński, Joanna Baran, Paweł Olszewski,
• Abstract要約: テキスト・ツー・ジェネレーションモデルをトレーニングするための新しいアプローチであるRetryを紹介します。 再試行のステップは、総合的および挑戦的な実行精度の指標において最大4ポイントの改善をもたらすことを実証する。
• 参考スコア（独自算出の注目度）: 1.6707278580444538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The text-to-SQL task is an active challenge in Natural Language Processing. Many existing solutions focus on using black-box language models extended with specialized components within customized end-to-end text-to-SQL pipelines. While these solutions use both closed-source proprietary language models and coding-oriented open-source models, there is a lack of research regarding SQL-specific generative models. At the same time, recent advancements in self-correcting generation strategies show promise for improving the capabilities of existing architectures. The application of these concepts to the text-to-SQL task remains unexplored. In this paper, we introduce RetrySQL, a new approach to training text-to-SQL generation models. We prepare reasoning steps for reference SQL queries and then corrupt them to create retry data that contains both incorrect and corrected steps, divided with a special token. We continuously pre-train an open-source coding model with this data and demonstrate that retry steps yield an improvement of up to 4 percentage points in both overall and challenging execution accuracy metrics, compared to pre-training without retry data. Additionally, we confirm that supervised fine-tuning with LoRA is ineffective for learning from retry data and that full-parameter pre-training is a necessary requirement for that task. We showcase that the self-correcting behavior is learned by the model and the increase in downstream accuracy metrics is a result of this additional skill. Finally, we incorporate RetrySQL-trained models into the full text-to-SQL pipeline and showcase that they are competitive in terms of execution accuracy with proprietary models that contain orders of magnitude more parameters. RetrySQL demonstrates that self-correction can be learned in the text-to-SQL task and provides a novel way of improving generation accuracy for SQL-oriented language models.
• Abstract（参考訳）: テキストからSQLへのタスクは自然言語処理において活発な課題である。 既存のソリューションの多くは、カスタマイズされたエンドツーエンドのテキスト-SQLパイプライン内の特別なコンポーネントで拡張されたブラックボックス言語モデルの使用に重点を置いている。 これらのソリューションは、クローズドソースのプロプライエタリな言語モデルとコーディング指向のオープンソースモデルの両方を使用しているが、SQL固有の生成モデルに関する研究が不足している。 同時に、自己修正生成戦略の最近の進歩は、既存のアーキテクチャの能力を改善することを約束している。 テキストからSQLへのタスクへのこれらの概念の適用は、まだ検討されていない。 本稿では,テキストからSQLへの生成モデルをトレーニングするための新しいアプローチであるRetrySQLを紹介する。 我々は、SQLクエリを参照するための推論ステップを作成し、その後、特別なトークンで分割された不正なステップと修正されたステップの両方を含む再試行データを作成するために、それらを破損させます。 我々は、このデータを用いてオープンソースのコーディングモデルを継続的に事前トレーニングし、再試行ステップが、再試行データのない事前学習と比較して、総合的および挑戦的な実行精度のメトリクスにおいて最大4パーセントの改善をもたらすことを実証した。 さらに、LoRAによる教師付き微調整は、再試行データから学習するには効果がなく、フルパラメータ事前学習は、そのタスクに必要な要件であることを確認した。 モデルにより自己補正動作が学習され、下流の精度指標が増加することが、この追加スキルの結果であることを示す。 最後に、RetrySQLでトレーニングされたモデルをフルテキスト・トゥ・SQLパイプラインに組み込み、実行精度と、桁違いのパラメータを含むプロプライエタリなモデルとの競合性を示す。 RetrySQLは、テキストからSQLまでのタスクで自己補正が学習できることを示し、SQL指向の言語モデルの生成精度を改善する新しい方法を提供する。

関連論文リスト

• ExeSQL: Self-Taught Text-to-SQL Models with Execution-Driven Bootstrapping for SQL Dialects [24.450818792474216]
  この作業では、実行駆動のエージェントブートストラップを備えたテキストからガイダンスのフレームワークであるExeを紹介した。 Exeはテキストとガイダンスの学習における方言のギャップを埋め、それぞれ15.2%、10.38%、および4.49%のGPT-4o以降の平均的な改善を実現している。
  論文  参考訳（メタデータ） (2025-05-22T19:13:34Z)
• STaR-SQL: Self-Taught Reasoner for Text-to-SQL [20.719165038519744]
  チェーンオブ思考」の理論的根拠は、複雑な推論タスクにおける大規模言語モデルの性能向上に有効であることが証明されている。 テキスト駆動のような構造化されたタスクにそのようなテクニックを適用することは、ほとんど探索されていない。 本稿では、クエリ生成を推論プロセスとして再編成する新しいアプローチである、テキスト駆動型セルフトレーサ(STaR-)を提案する。 挑戦的なスパイダーベンチマークの実験結果によると、STaR-はテキストからパフォーマンスを大幅に改善し、86.6%の精度を実現している。 これらの知見は、推論強化トレーニングの可能性を強調している。
  論文  参考訳（メタデータ） (2025-02-19T08:58:44Z)
• Context-Aware SQL Error Correction Using Few-Shot Learning -- A Novel Approach Based on NLQ, Error, and SQL Similarity [0.0]
  本稿では,誤り訂正 insql 生成のための新しい数ショット学習手法を提案する。 与えられた自然言語質問(NLQ)に対して最も適した少数ショット誤り訂正例を選択することにより、生成されたクエリの精度を向上させる。 オープンソースデータセットを用いた実験では、単純な誤り訂正法により、誤り訂正のない修正エラーが39.2%増加し、10%増加した。
  論文  参考訳（メタデータ） (2024-10-11T18:22:08Z)
• SQL-GEN: Bridging the Dialect Gap for Text-to-SQL Via Synthetic Data And Model Merging [30.306023265985658]
  あらゆる方言に対して高品質な合成学習データを生成するためのフレームワークを提案する。 本稿では,方言間の共有知識を活用する新しいMixture-of-Experts(MoE)を提案する。
  論文  参考訳（メタデータ） (2024-08-22T20:50:48Z)
• DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
  De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。 また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T14:43:15Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Wav2SQL: Direct Generalizable Speech-To-SQL Parsing [55.10009651476589]
  Speech-to-Spider (S2Spider) は、与えられたデータベースに対する音声質問をsqlクエリに変換することを目的としている。 ケースドシステム間の誤り合成を回避した,最初の直接音声-話者パーシングモデルWav2を提案する。 実験結果から,Wav2は誤差混成を回避し,ベースラインの精度を最大2.5%向上させることで最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-21T19:26:46Z)
• SPSQL: Step-by-step Parsing Based Framework for Text-to-SQL Generation [13.196264569882777]
  現在の主流のエンド・ツー・エンドのText2モデルは、複雑な構造とトレーニングデータに対する高い要求のために構築が困難であるだけでなく、大量のパラメータのために調整も困難である。 本稿では,所望の結果を得るために,SP実験というパイプライン手法を提案する。 我々は,中国のステートグリッドコーポレーションのマーケティングビジネスデータに基づくデータセットを構築した。
  論文  参考訳（メタデータ） (2023-05-10T10:01:36Z)
• Augmenting Multi-Turn Text-to-SQL Datasets with Self-Play [46.07002748587857]
  我々は、コンテキスト情報を活用して新しいインタラクションを合成するセルフプレイによるトレーニングデータセットの強化について検討する。 本研究では,SParCとCoという2つの広く使われているテキスト・ドメイン・データセットの強いベースラインの精度を向上させることを発見した。
  論文  参考訳（メタデータ） (2022-10-21T16:40:07Z)
• A Survey on Text-to-SQL Parsing: Concepts, Methods, and Future Directions [102.8606542189429]
  テキストからコーパスへのパースの目的は、自然言語(NL)質問をデータベースが提供するエビデンスに基づいて、対応する構造化クエリ言語()に変換することである。 ディープニューラルネットワークは、入力NL質問から出力クエリへのマッピング関数を自動的に学習するニューラルジェネレーションモデルによって、このタスクを大幅に進歩させた。
  論文  参考訳（メタデータ） (2022-08-29T14:24:13Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。