論文の概要: Beyond SELECT: A Comprehensive Taxonomy-Guided Benchmark for Real-World Text-to-SQL Translation

• arxiv url: http://arxiv.org/abs/2511.13590v1
• Date: Mon, 17 Nov 2025 16:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 18:52:09.619474
• Title: Beyond SELECT: A Comprehensive Taxonomy-Guided Benchmark for Real-World Text-to-SQL Translation
• Title（参考訳）: Beyond SELECT: 現実世界のテキストからSQLへの翻訳のための総合的な分類ガイド付きベンチマーク
• Authors: Hao Wang, Yuanfeng Song, Xiaoming Yin, Xing Chen,
• Abstract要約: 既存のデータセットは、カバー範囲が限られており、現実世界のアプリケーションの多様性を捉えていないことが多い。 コアインテント,ステートメントタイプ,構文構造,キーアクションに基づくテキスト・ツー・ワン分類のための新しい分類法を提案する。 このアプローチは、分類とLLM(Large Language Models)を組み合わせることで、データセットが現実世界のテキスト・ツー・ワンアプリケーションの幅と複雑さを反映することを保証する。
• 参考スコア（独自算出の注目度）: 10.847789339703846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-SQL datasets are essential for training and evaluating text-to-SQL models, but existing datasets often suffer from limited coverage and fail to capture the diversity of real-world applications. To address this, we propose a novel taxonomy for text-to-SQL classification based on dimensions including core intents, statement types, syntax structures, and key actions. Using this taxonomy, we evaluate widely used public text-to-SQL datasets (e.g., Spider and Bird) and reveal limitations in their coverage and diversity. We then introduce a taxonomy-guided dataset synthesis pipeline, yielding a new dataset named SQL-Synth. This approach combines the taxonomy with Large Language Models (LLMs) to ensure the dataset reflects the breadth and complexity of real-world text-to-SQL applications. Extensive analysis and experimental results validate the effectiveness of our taxonomy, as SQL-Synth exhibits greater diversity and coverage compared to existing benchmarks. Moreover, we uncover that existing LLMs typically fall short in adequately capturing the full range of scenarios, resulting in limited performance on SQL-Synth. However, fine-tuning can substantially improve their performance in these scenarios. The proposed taxonomy has significant potential impact, as it not only enables comprehensive analysis of datasets and the performance of different LLMs, but also guides the construction of training data for LLMs.
• Abstract（参考訳）: テキストからSQLまでのデータセットは、テキストからSQLまでのモデルのトレーニングと評価に不可欠だが、既存のデータセットは、カバー範囲が限られており、現実世界のアプリケーションの多様性を捉えることができないことが多い。 これを解決するために,コアインテント,ステートメントタイプ,構文構造,キーアクションを含む次元に基づいて,テキストとSQLの分類のための新しい分類法を提案する。 この分類法を用いて、広く使われている公開テキスト-SQLデータセット(例えば、SpiderとBird)を評価し、そのカバレッジと多様性の限界を明らかにする。 次に、分類誘導型データセット合成パイプラインを導入し、SQL-Synthという新しいデータセットを生成する。 このアプローチは、分類とLLM(Large Language Models)を組み合わせることで、データセットが現実世界のテキスト-SQLアプリケーションの幅と複雑さを反映することを保証する。 SQL-Synthは既存のベンチマークよりも多様性とカバレッジが優れており、大規模な分析と実験により分類の有効性が検証された。 さらに、既存のLLMは、一般的に、すべてのシナリオを適切にキャプチャするに足りず、SQL-Synth上での性能が制限されることがわかりました。 しかし、微調整はこれらのシナリオにおけるパフォーマンスを大幅に改善することができる。 提案した分類学は,データセットの包括的解析と異なるLLMの性能を実現するだけでなく,LLMのトレーニングデータ構築にも大きな影響を与える可能性がある。

関連論文リスト

• TaP: A Taxonomy-Guided Framework for Automated and Scalable Preference Data Generation [50.319535974012]
  大規模言語モデル(LLM)の教師付き微調整と選好微調整を行うには、高品質なデータセットが必要である。 教師付きおよび好みの微調整のためのほとんどのデータセットは英語で提供されている。 本稿では、アンダーラインtextbfTaxonomy-Guided underlinetextbfPreference Data Generationフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-30T15:45:28Z)
• Bridging the Gap: Enabling Natural Language Queries for NoSQL Databases through Text-to-NoSQL Translation [25.638927795540454]
  自然言語クエリをアクセス可能なクエリに変換することを目的としたText-to-Noタスクを導入する。 この分野での研究を促進するために、我々はTEND(Text-to-Noデータセットのショートインターフェース)という、このタスクのための大規模かつオープンソースのデータセットをリリースした。 また,SLM(Small Language Model)支援とRAG(Retrieval-augmented Generation)支援の多段階フレームワークSMARTを設計した。
  論文  参考訳（メタデータ） (2025-02-16T17:01:48Z)
• Enhancing LLM Fine-tuning for Text-to-SQLs by SQL Quality Measurement [1.392448435105643]
  Text-to-sにより、専門家でないユーザは、自然言語クエリを使用してデータベースから要求された情報を取得することができる。 GPT4やT5のような現在の最先端(SOTA)モデルは、BIRDのような大規模ベンチマークで素晴らしいパフォーマンスを示している。 本稿では,テキスト・ツー・ス・パフォーマンスを向上させるためにSQL Qualityのみを必要とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-02T17:21:51Z)
• CHESS: Contextual Harnessing for Efficient SQL Synthesis [1.9506402593665235]
  効率的でスケーラブルなテキスト・ツー・クエリのためのフレームワークであるCHESSを紹介します。 特殊エージェントは4つあり、それぞれが上記の課題の1つをターゲットにしている。 私たちのフレームワークは、さまざまなデプロイメント制約に適応する機能を提供する。
  論文  参考訳（メタデータ） (2024-05-27T01:54:16Z)
• Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
  大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。 大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
  論文  参考訳（メタデータ） (2023-08-29T14:59:54Z)
• SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
  本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。 数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。 命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
  論文  参考訳（メタデータ） (2023-05-26T21:39:05Z)
• Importance of Synthesizing High-quality Data for Text-to-SQL Parsing [71.02856634369174]
  最先端のテキストから重み付けアルゴリズムは、強化された合成データでトレーニングされた場合、一般的なベンチマークでは改善されなかった。 本稿では,スキーマから重要な関係を取り入れ,強い型付けを課し,スキーマ重み付きカラムサンプリングを行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-17T02:53:21Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。