Fugu-MT 論文翻訳(概要): Taming SQL Complexity: LLM-Based Equivalence Evaluation for Text-to-SQL

論文の概要: Taming SQL Complexity: LLM-Based Equivalence Evaluation for Text-to-SQL

arxiv url: http://arxiv.org/abs/2506.09359v1
Date: Wed, 11 Jun 2025 03:16:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-13 06:35:02.287402
Title: Taming SQL Complexity: LLM-Based Equivalence Evaluation for Text-to-SQL
Title（参考訳）: SQLの複雑さに対処する - テキストからSQLへのLLMベースの等価性評価
Authors: Qingyun Zeng, Simin Ma, Arash Niknafs, Ashish Basran, Carol Szabo,
Abstract要約: 本稿では,Large Language Models (LLM) を用いて意味論とより実践的な「弱」意味論的等価性の両方を評価する。我々は,Sql同値と不等価の共通パターンを解析し,LLMに基づく評価の課題について議論する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The rise of Large Language Models (LLMs) has significantly advanced Text-to-SQL (NL2SQL) systems, yet evaluating the semantic equivalence of generated SQL remains a challenge, especially given ambiguous user queries and multiple valid SQL interpretations. This paper explores using LLMs to assess both semantic and a more practical "weak" semantic equivalence. We analyze common patterns of SQL equivalence and inequivalence, discuss challenges in LLM-based evaluation.
Abstract（参考訳）: LLM(Large Language Models)の台頭は、かなり先進的なText-to-SQL(NL2SQL)システムを持っているが、生成したSQLのセマンティックな等価性を評価することは、特に曖昧なユーザクエリと複数の有効なSQL解釈を前提として、依然として課題である。本稿では,LLMを用いて意味的およびより実践的な「弱」意味的等価性の評価を行う。我々は,SQLの等価性と等価性の共通パターンを分析し,LLMに基づく評価における課題について議論する。

関連論文リスト

Evaluating and Enhancing LLMs for Multi-turn Text-to-SQL with Multiple Question Types [11.391598870596392]
大規模言語モデル (LLM) は、かなり高度な音声合成システムを備えている。 LLMは、しばしばSQL生成に焦点を合わせ、現実世界の会話クエリの複雑さを無視している。 LLMの問合せ分類とSQL生成能力を評価するためのテストスイートMMを提案する。
論文参考訳（メタデータ） (2024-12-21T10:13:45Z)
Can the Rookies Cut the Tough Cookie? Exploring the Use of LLMs for SQL Equivalence Checking [15.42143912008553]
クエリ等価性チェックのためのSQLEquiQuestという,新しい,現実的で,十分に複雑なベンチマークを導入する。我々は,様々なプロンプト戦略とテキスト内学習例を用いて,最先端のLLMを評価した。解析の結果,LLMは等価性予測に強いバイアスを示し,非等価性対に対する性能は一貫して劣っていることがわかった。
論文参考訳（メタデータ） (2024-12-07T06:50:12Z)
Enhancing LLM Fine-tuning for Text-to-SQLs by SQL Quality Measurement [1.392448435105643]
Text-to-sにより、専門家でないユーザは、自然言語クエリを使用してデータベースから要求された情報を取得することができる。 GPT4やT5のような現在の最先端(SOTA)モデルは、BIRDのような大規模ベンチマークで素晴らしいパフォーマンスを示している。本稿では,テキスト・ツー・ス・パフォーマンスを向上させるためにSQL Qualityのみを必要とする新しい手法を提案する。
論文参考訳（メタデータ） (2024-10-02T17:21:51Z)
PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
論文参考訳（メタデータ） (2024-09-21T09:33:14Z)
RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2024-07-11T08:19:58Z)
Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL [15.75829309721909]
大規模言語モデル(LLM)は、モデルスケールが増大するにつれて、自然言語理解において重要な能力を示している。 LLMは、テキスト・ツー・リサーチにユニークな機会、改善、ソリューションをもたらすことができる。
論文参考訳（メタデータ） (2024-06-12T17:13:17Z)
LLM-SQL-Solver: Can LLMs Determine SQL Equivalence? [7.59813709836711]
大きな言語モデル(LLM)は、会話、質問応答、課題解決において強力な推論能力を示している。 LLMの高品質な応答生成を支援するために,Miniature & Mull と Explain & Compare の2つのプロンプト技術を提案する。
論文参考訳（メタデータ） (2023-12-16T05:01:23Z)
Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文参考訳（メタデータ） (2023-08-29T14:59:54Z)
SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文参考訳（メタデータ） (2023-05-26T21:39:05Z)
UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
論文参考訳（メタデータ） (2023-05-25T17:19:52Z)
Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
我々は最近提案されたQDMR(QDMR)という意味表現を活用している。質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
論文参考訳（メタデータ） (2021-12-12T20:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。