論文の概要: SPFT-SQL: Enhancing Large Language Model for Text-to-SQL Parsing by Self-Play Fine-Tuning
- arxiv url: http://arxiv.org/abs/2509.03937v2
- Date: Sat, 11 Oct 2025 08:01:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 15:48:09.330158
- Title: SPFT-SQL: Enhancing Large Language Model for Text-to-SQL Parsing by Self-Play Fine-Tuning
- Title（参考訳）: SPFT-SQL: セルフプレイファインチューニングによるテキストからSQLへのパースのための大規模言語モデルの実現
- Authors: Yuhao Zhang, Shaoming Duan, Jinhang Su, Chuanyi Liu, Peiyi Han,
- Abstract要約: セルフプレイファインチューニング(SPIN)は、弱い大きな言語モデル(LLM)を競合する相互作用を通じて強力な言語に変換することができる。
本研究では,SPFT-tuningと呼ばれるテキスト・ツー・タスクに適した,新たなセルフプレイ・ファイン・チューニング手法を提案する。
自己再生の微調整フェーズにおいて,不適切な出力を相手モデルからインセンティブを与える誤り駆動損失法を提案する。
- 参考スコア（独自算出の注目度）: 8.501743260277324
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Despite the significant advancements of self-play fine-tuning (SPIN), which can transform a weak large language model (LLM) into a strong one through competitive interactions between models of varying capabilities, it still faces challenges in the Text-to-SQL task. SPIN does not generate new information, and the large number of correct SQL queries produced by the opponent model during self-play reduces the main model's ability to generate accurate SQL queries. To address this challenge, we propose a new self-play fine-tuning method tailored for the Text-to-SQL task, called SPFT-SQL. Prior to self-play, we introduce a verification-based iterative fine-tuning approach, which synthesizes high-quality fine-tuning data iteratively based on the database schema and validation feedback to enhance model performance, while building a model base with varying capabilities. During the self-play fine-tuning phase, we propose an error-driven loss method that incentivizes incorrect outputs from the opponent model, enabling the main model to distinguish between correct SQL and erroneous SQL generated by the opponent model, thereby improving its ability to generate correct SQL. Extensive experiments and in-depth analyses on six open-source LLMs and five widely used benchmarks demonstrate that our approach outperforms existing state-of-the-art (SOTA) methods.
- Abstract（参考訳）: 弱い大きな言語モデル(LLM)を、さまざまな能力のモデル間の競合的な相互作用を通じて、強力な言語に変換することができる、セルフプレイ微調整(SPIN)の大幅な進歩にもかかわらず、Text-to-SQLタスクでは依然として課題に直面している。
SPINは新しい情報を生成せず、対戦モデルが自己再生中に生成する多数の正しいSQLクエリは、メインモデルの正確なSQLクエリを生成する能力を低下させる。
この課題に対処するために,SPFT-SQLと呼ばれるテキストからSQLまでのタスクに適した,新たなセルフプレイファインチューニング手法を提案する。
データベーススキーマと検証フィードバックに基づいて、高品質な微調整データを反復的に合成し、モデルの性能を向上させるとともに、様々な機能を持つモデルベースを構築する。
自己プレイの微調整フェーズにおいて,本手法では,不正な出力を相手モデルからインセンティブ付けし,メインモデルが相手モデルから生成した正しいSQLと誤SQLを識別し,正しいSQLを生成する能力を向上するエラー駆動損失法を提案する。
6つのオープンソースLCMと5つの広く使用されているベンチマークに関する大規模な実験と詳細な分析により、我々のアプローチが既存のSOTA法よりも優れていることが示された。
関連論文リスト
- ErrorLLM: Modeling SQL Errors for Text-to-SQL Refinement [57.98138819417949]
テキスト・ツー・クエリを明示的にモデル化するフレームワークであるErrorLLMを提案する。
ErrorLLMは、バックボーンの初期生成よりも大幅に改善されていることを示す。
ErrorLLMは、精錬効率を維持しつつ、高い検出F1スコアで両面に対処する。
論文 参考訳（メタデータ） (2026-03-04T05:27:20Z) - SQL-Trail: Multi-Turn Reinforcement Learning with Interleaved Feedback for Text-to-SQL [20.49395306069103]
テキスト・ツー・ワン・ジェネレーションのためのマルチターン強化学習(RL)エージェント・フレームワークを提案する。
1ショットでクエリを生成するのではなく、SQL-Trailはデータベース環境と対話し、実行フィードバックを使用して予測を反復的に洗練する。
提案手法は, エージェントの相互作用深度を問合せ難易度に合わせるための適応的なターン予算配分機構と, sqlの正しさと効率的な探索を両立させる複合報酬パネルの2つを主眼とする。
論文 参考訳（メタデータ） (2026-01-25T05:16:52Z) - Text-to-SQL as Dual-State Reasoning: Integrating Adaptive Context and Progressive Generation [54.53145282349042]
DSR-sourced, textbfDual-textbfS textbfReasoning frameworkを導入する。
ポストトレーニングやインコンテキストの例がなければ、DSR-sourcedは競合性能を達成し、スパイダー2.0-Snowで35.28%、BIRD開発で68.32%に達する。
論文 参考訳（メタデータ） (2025-11-26T13:52:50Z) - RetrySQL: text-to-SQL training with retry data for self-correcting query generation [1.6707278580444538]
テキスト・ツー・ジェネレーションモデルをトレーニングするための新しいアプローチであるRetryを紹介します。
再試行のステップは、総合的および挑戦的な実行精度の指標において最大4ポイントの改善をもたらすことを実証する。
論文 参考訳（メタデータ） (2025-07-03T11:00:49Z) - Enhancing LLM Fine-tuning for Text-to-SQLs by SQL Quality Measurement [1.392448435105643]
Text-to-sにより、専門家でないユーザは、自然言語クエリを使用してデータベースから要求された情報を取得することができる。
GPT4やT5のような現在の最先端(SOTA)モデルは、BIRDのような大規模ベンチマークで素晴らしいパフォーマンスを示している。
本稿では,テキスト・ツー・ス・パフォーマンスを向上させるためにSQL Qualityのみを必要とする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-02T17:21:51Z) - DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。
また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
論文 参考訳（メタデータ） (2024-08-16T14:43:15Z) - Synthesizing Text-to-SQL Data from Weak and Strong LLMs [68.69270834311259]
オープンソースとクローズドソースの大規模言語モデル(LLM)の能力ギャップは、テキスト・トゥ・タスクにおいて依然として課題である。
より大規模で強力なモデルによって生成されたデータと、より小さく、不整合なモデルによって生成されたエラー情報データを組み合わせた合成データアプローチを導入する。
論文 参考訳（メタデータ） (2024-08-06T15:40:32Z) - TrustSQL: Benchmarking Text-to-SQL Reliability with Penalty-Based Scoring [11.78795632771211]
本稿では,任意の入力質問を正しく処理するモデルとして,テキスト・ツー・信頼性を評価するための新しいベンチマークを提案する。
2つのモデリング手法を用いて,新たなペナルティに基づく評価基準を用いた既存手法の評価を行った。
論文 参考訳（メタデータ） (2024-03-23T16:12:52Z) - SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。
数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。
命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文 参考訳（メタデータ） (2023-05-26T21:39:05Z) - SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。
5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
論文 参考訳（メタデータ） (2022-09-14T06:27:51Z) - IGSQL: Database Schema Interaction Graph Based Neural Model for
Context-Dependent Text-to-SQL Generation [61.09660709356527]
本稿では,データベーススキーマインタラクショングラフエンコーダを提案し,データベーススキーマ項目の履歴情報を利用する。
ベンチマークSParCおよびCoデータセットを用いて,本モデルの評価を行った。
論文 参考訳（メタデータ） (2020-11-11T12:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。