論文の概要: STaR-SQL: Self-Taught Reasoner for Text-to-SQL

• arxiv url: http://arxiv.org/abs/2502.13550v1
• Date: Wed, 19 Feb 2025 08:58:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:19.040181
• Title: STaR-SQL: Self-Taught Reasoner for Text-to-SQL
• Title（参考訳）: STaR-SQL: テキストからSQLへの自己学習型推論
• Authors: Mingqian He, Yongliang Shen, Wenqi Zhang, Qiuying Peng, Jun Wang, Weiming Lu,
• Abstract要約: チェーンオブ思考」の理論的根拠は、複雑な推論タスクにおける大規模言語モデルの性能向上に有効であることが証明されている。 テキスト駆動のような構造化されたタスクにそのようなテクニックを適用することは、ほとんど探索されていない。 本稿では、クエリ生成を推論プロセスとして再編成する新しいアプローチである、テキスト駆動型セルフトレーサ(STaR-)を提案する。 挑戦的なスパイダーベンチマークの実験結果によると、STaR-はテキストからパフォーマンスを大幅に改善し、86.6%の精度を実現している。 これらの知見は、推論強化トレーニングの可能性を強調している。
• 参考スコア（独自算出の注目度）: 20.719165038519744
• License:
• Abstract: Generating step-by-step "chain-of-thought" rationales has proven effective for improving the performance of large language models on complex reasoning tasks. However, applying such techniques to structured tasks, such as text-to-SQL, remains largely unexplored. In this paper, we introduce Self-Taught Reasoner for text-to-SQL (STaR-SQL), a novel approach that reframes SQL query generation as a reasoning-driven process. Our method prompts the LLM to produce detailed reasoning steps for SQL queries and fine-tunes it on rationales that lead to correct outcomes. Unlike traditional methods, STaR-SQL dedicates additional test-time computation to reasoning, thereby positioning LLMs as spontaneous reasoners rather than mere prompt-based agents. To further scale the inference process, we incorporate an outcome-supervised reward model (ORM) as a verifier, which enhances SQL query accuracy. Experimental results on the challenging Spider benchmark demonstrate that STaR-SQL significantly improves text-to-SQL performance, achieving an execution accuracy of 86.6%. This surpasses a few-shot baseline by 31.6% and a baseline fine-tuned to predict answers directly by 18.0%. Additionally, STaR-SQL outperforms agent-like prompting methods that leverage more powerful yet closed-source models such as GPT-4. These findings underscore the potential of reasoning-augmented training for structured tasks and open the door to extending self-improving reasoning models to text-to-SQL generation and beyond.
• Abstract（参考訳）: ステップバイステップの「チェーン・オブ・思想」論理の生成は、複雑な推論タスクにおける大規模言語モデルの性能向上に有効であることが証明されている。 しかし、テキスト・トゥ・SQLのような構造化タスクにそのようなテクニックを適用することは、まだほとんど探索されていない。 本稿では,テキスト・トゥ・SQL(STaR-SQL)のためのセルフ・ツー・リゾナを提案する。 我々の手法は, LLMに対してSQLクエリの詳細な推論手順を作成し, 正しい結果をもたらす有理性に基づいて微調整するように促す。 従来の方法とは異なり、STaR-SQLは推論にさらなるテスト時間計算を割り当てており、単にプロンプトベースのエージェントではなく、自発的な推論としてLLMを位置づけている。 推論プロセスをさらに拡張するために、SQLクエリの精度を高めるバリデーションとして結果教師付き報酬モデル(ORM)を組み込んだ。 挑戦的なSpiderベンチマークの実験結果によると、STaR-SQLはテキストとSQLのパフォーマンスを大幅に改善し、86.6%の精度を実現している。 これは数発のベースラインを31.6%上回り、答えを直接18.0%の精度で予測するベースラインを微調整している。 さらにSTaR-SQLは、GPT-4のようなより強力なクローズドソースモデルを利用するエージェントライクなプロンプト手法よりも優れている。 これらの知見は、構造化タスクの推論強化トレーニングの可能性を強調し、自己改善推論モデルを拡張してテキストからSQL生成以上を行うための扉を開く。

関連論文リスト

• RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
  本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。 ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。 提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
  論文  参考訳（メタデータ） (2024-10-31T16:22:26Z)
• Enhancing LLM Fine-tuning for Text-to-SQLs by SQL Quality Measurement [1.392448435105643]
  Text-to-sにより、専門家でないユーザは、自然言語クエリを使用してデータベースから要求された情報を取得することができる。 GPT4やT5のような現在の最先端(SOTA)モデルは、BIRDのような大規模ベンチマークで素晴らしいパフォーマンスを示している。 本稿では,テキスト・ツー・ス・パフォーマンスを向上させるためにSQL Qualityのみを必要とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T17:21:51Z)
• PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
  大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。 本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
  論文  参考訳（メタデータ） (2024-09-21T09:33:14Z)
• SelECT-SQL: Self-correcting ensemble Chain-of-Thought for Text-to-SQL [3.422309388045878]
  SelECT-は、チェーン・オブ・シンク、自己補正、アンサンブルの手法をアルゴリズムで組み合わせた、新しいインコンテキスト学習ソリューションである。 具体的には、GPTをベースLLMとして使用する場合、SelECT-Turboはスパイダーリーダーボードの開発セット上で84.2%の実行精度を達成する。
  論文  参考訳（メタデータ） (2024-09-16T05:40:18Z)
• DAC: Decomposed Automation Correction for Text-to-SQL [51.48239006107272]
  De Automation Correction (DAC)を導入し、エンティティリンクとスケルトン解析を分解することでテキストから合成を補正する。 また,本手法では,ベースライン法と比較して,スパイダー,バード,カグルDBQAの平均値が平均3.7%向上することを示した。
  論文  参考訳（メタデータ） (2024-08-16T14:43:15Z)
• RH-SQL: Refined Schema and Hardness Prompt for Text-to-SQL [1.734218686180302]
  本稿では,精製実行モデルとハードネス・プロンプトに基づくテキスト・トゥ・エクセルの手法を提案する。 パフォーマンスを維持しながら、ストレージとトレーニングのコストを削減する。 スパイダーデータセットに関する我々の実験は、特に大規模なLMを用いて、82.6%の異常な精度(EX)を達成した。
  論文  参考訳（メタデータ） (2024-06-13T14:04:34Z)
• EPI-SQL: Enhancing Text-to-SQL Translation with Error-Prevention Instructions [0.5755004576310334]
  本稿では,Large Language Models(LLMs)を利用した新しい手法フレームワークであるEPIを導入し,テキスト・ツー・ワン・タスクの性能向上を図る。 EPI-は4段階のプロセスで動作し、一般的なエラー防止命令(EPI)を生成する。 タスク固有のガイダンスを提供し、手元にあるタスクの潜在的なエラーを回避することができる。
  論文  参考訳（メタデータ） (2024-04-21T03:52:46Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。