論文の概要: SPFT-SQL: Enhancing Large Language Model for Text-to-SQL Parsing by Self-Play Fine-Tuning

• arxiv url: http://arxiv.org/abs/2509.03937v1
• Date: Thu, 04 Sep 2025 06:55:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.077154
• Title: SPFT-SQL: Enhancing Large Language Model for Text-to-SQL Parsing by Self-Play Fine-Tuning
• Title（参考訳）: SPFT-SQL: セルフプレイファインチューニングによるテキストからSQLへのパースのための大規模言語モデルの実現
• Authors: Yuhao Zhang, Shaoming Duan, Jinhang Su, Chuanyi Liu, Peiyi Han,
• Abstract要約: セルフプレイファインチューニング(SPIN)は、弱い大きな言語モデル(LLM)を競合する相互作用を通じて強力な言語に変換することができる。 本研究では,SPFT-tuningと呼ばれるテキスト・ツー・タスクに適した,新たなセルフプレイ・ファイン・チューニング手法を提案する。 自己再生の微調整フェーズにおいて,不適切な出力を相手モデルからインセンティブを与える誤り駆動損失法を提案する。
• 参考スコア（独自算出の注目度）: 8.501743260277324
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite the significant advancements of self-play fine-tuning (SPIN), which can transform a weak large language model (LLM) into a strong one through competitive interactions between models of varying capabilities, it still faces challenges in the Text-to-SQL task. SPIN does not generate new information, and the large number of correct SQL queries produced by the opponent model during self-play reduces the main model's ability to generate accurate SQL queries. To address this challenge, we propose a new self-play fine-tuning method tailored for the Text-to-SQL task, called SPFT-SQL. Prior to self-play, we introduce a verification-based iterative fine-tuning approach, which synthesizes high-quality fine-tuning data iteratively based on the database schema and validation feedback to enhance model performance, while building a model base with varying capabilities. During the self-play fine-tuning phase, we propose an error-driven loss method that incentivizes incorrect outputs from the opponent model, enabling the main model to distinguish between correct SQL and erroneous SQL generated by the opponent model, thereby improving its ability to generate correct SQL. Extensive experiments and in-depth analyses on six open-source LLMs and five widely used benchmarks demonstrate that our approach outperforms existing state-of-the-art (SOTA) methods.
• Abstract（参考訳）: 弱い大きな言語モデル(LLM)を、さまざまな能力のモデル間の競合的な相互作用を通じて、強力な言語に変換することができる、セルフプレイ微調整(SPIN)の大幅な進歩にもかかわらず、Text-to-SQLタスクでは依然として課題に直面している。 SPINは新しい情報を生成せず、対戦モデルが自己再生中に生成する多数の正しいSQLクエリは、メインモデルの正確なSQLクエリを生成する能力を低下させる。 この課題に対処するために,SPFT-SQLと呼ばれるテキストからSQLまでのタスクに適した,新たなセルフプレイファインチューニング手法を提案する。 データベーススキーマと検証フィードバックに基づいて、高品質な微調整データを反復的に合成し、モデルの性能を向上させるとともに、様々な機能を持つモデルベースを構築する。 自己プレイの微調整フェーズにおいて,本手法では,不正な出力を相手モデルからインセンティブ付けし,メインモデルが相手モデルから生成した正しいSQLと誤SQLを識別し,正しいSQLを生成する能力を向上するエラー駆動損失法を提案する。 6つのオープンソースLCMと5つの広く使用されているベンチマークに関する大規模な実験と詳細な分析により、我々のアプローチが既存のSOTA法よりも優れていることが示された。

関連論文リスト

• DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
  De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。 また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T14:43:15Z)
• Synthesizing Text-to-SQL Data from Weak and Strong LLMs [68.69270834311259]
  オープンソースとクローズドソースの大規模言語モデル(LLM)の能力ギャップは、テキスト・トゥ・タスクにおいて依然として課題である。 より大規模で強力なモデルによって生成されたデータと、より小さく、不整合なモデルによって生成されたエラー情報データを組み合わせた合成データアプローチを導入する。
  論文  参考訳（メタデータ） (2024-08-06T15:40:32Z)
• TrustSQL: Benchmarking Text-to-SQL Reliability with Penalty-Based Scoring [11.78795632771211]
  本稿では,任意の入力質問を正しく処理するモデルとして,テキスト・ツー・信頼性を評価するための新しいベンチマークを提案する。 2つのモデリング手法を用いて,新たなペナルティに基づく評価基準を用いた既存手法の評価を行った。
  論文  参考訳（メタデータ） (2024-03-23T16:12:52Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• IGSQL: Database Schema Interaction Graph Based Neural Model for Context-Dependent Text-to-SQL Generation [61.09660709356527]
  本稿では,データベーススキーマインタラクショングラフエンコーダを提案し,データベーススキーマ項目の履歴情報を利用する。 ベンチマークSParCおよびCoデータセットを用いて,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-11-11T12:56:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。