Fugu-MT 論文翻訳(概要): Can the Rookies Cut the Tough Cookie? Exploring the Use of LLMs for SQL Equivalence Checking

論文の概要: Can the Rookies Cut the Tough Cookie? Exploring the Use of LLMs for SQL Equivalence Checking

arxiv url: http://arxiv.org/abs/2412.05561v2
Date: Sun, 08 Jun 2025 19:02:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-10 16:33:09.523106
Title: Can the Rookies Cut the Tough Cookie? Exploring the Use of LLMs for SQL Equivalence Checking
Title（参考訳）: ルーキーはトーストクッキーをカットできるか? SQL 等価チェックのための LLM の利用を探る
Authors: Rajat Singh, Srikanta Bedathur,
Abstract要約: クエリ等価性チェックのためのSQLEquiQuestという,新しい,現実的で,十分に複雑なベンチマークを導入する。我々は,様々なプロンプト戦略とテキスト内学習例を用いて,最先端のLLMを評価した。解析の結果,LLMは等価性予測に強いバイアスを示し,非等価性対に対する性能は一貫して劣っていることがわかった。
参考スコア（独自算出の注目度）: 15.42143912008553
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Equivalence checking of SQL queries is an intractable problem often encountered in settings ranging from grading SQL submissions to debugging query optimizers. Despite recent work toward developing practical solutions, only simple queries written using a small subset of SQL are supported, leaving the equivalence checking of sophisticated SQL queries at the mercy of intensive, potentially error-prone, manual analysis. In this paper, we explore how LLMs can be used to reason with SQL queries to address this challenging problem. Towards this, we introduce a novel, realistic, and sufficiently complex benchmark called SQLEquiQuest for SQL query equivalence checking that reflects real-world settings. We establish strong baselines for SQL equivalence checking by leveraging the ability of LLMs to reason with SQL queries. We conduct a detailed evaluation of several state-of-the-art LLMs using various prompting strategies and carefully constructed in-context learning examples, including logical plans generated by SQL query processors. Our empirical evaluation shows that LLMs go well beyond the current capabilities of formal models for SQL equivalence, going from a mere 30% supported query pairs to full coverage, achieving up to 82% accuracy on Spider+DIN. However, a critical limitation of LLMs revealed by our analysis is that they exhibit a strong bias for equivalence predictions, with consistently poor performance over non-equivalent pairs, opening a new direction for potential future research.
Abstract（参考訳）: SQLクエリの等価性チェックは、SQLサブミッションのグレードからクエリオプティマイザのデバッグに至るまで、設定でしばしば発生する難解な問題である。実用的なソリューションの開発に向けた最近の取り組みにもかかわらず、SQLの小さなサブセットを使って書かれた単純なクエリのみがサポートされている。本稿では,LLMを用いてSQLクエリを推論し,この問題に対処する方法について検討する。そこで本研究では,SQLEquiQuest for SQLクエリ等価チェックという,現実的な設定を反映した,新しい,現実的で,十分に複雑なベンチマークを導入する。 LLMがSQLクエリを推論する能力を活用することで、SQL同値チェックの強力なベースラインを確立します。本稿では,SQLクエリプロセッサが生成する論理計画を含む,さまざまなプロンプト戦略を用いて,最先端のLLMの詳細な評価を行い,テキスト内学習例を慎重に構築する。私たちの経験的評価によると、LLMはSQL同値性のための形式モデルの現在の能力を超えており、サポート対象のクエリペアの30%から完全なカバレッジに至り、Spider+DINで最大82%の精度を実現しています。しかし,LLMの限界は,同値性予測に強いバイアスがあり,非等価なペアに対して常に性能が劣り,将来的な研究に向けた新たな方向性が開けている点である。

関連論文リスト

Evaluating and Enhancing LLMs for Multi-turn Text-to-SQL with Multiple Question Types [11.391598870596392]
大規模言語モデル (LLM) は、かなり高度な音声合成システムを備えている。 LLMは、しばしばSQL生成に焦点を合わせ、現実世界の会話クエリの複雑さを無視している。 LLMの問合せ分類とSQL生成能力を評価するためのテストスイートMMを提案する。
論文参考訳（メタデータ） (2024-12-21T10:13:45Z)
PTD-SQL: Partitioning and Targeted Drilling with LLMs in Text-to-SQL [54.304872649870575]
大規模言語モデル(LLM)は、テキスト・トゥ・センス・タスクの強力なツールとして登場した。本研究では,クエリグループパーティショニングを用いることで,単一問題に特有の思考プロセスの学習に集中できることを示す。
論文参考訳（メタデータ） (2024-09-21T09:33:14Z)
RB-SQL: A Retrieval-based LLM Framework for Text-to-SQL [48.516004807486745]
文脈内学習を伴う大規模言語モデル(LLM)は、テキスト・ツー・タスクの性能を大幅に改善した。 In-context prompt Engineering のための新しい検索ベースフレームワーク RB- を提案する。実験により,我々のモデルは,公開データセットのBIRDとSpiderの競合ベースラインよりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2024-07-11T08:19:58Z)
CoE-SQL: In-Context Learning for Multi-Turn Text-to-SQL with Chain-of-Editions [22.493487741249716]
大規模言語モデル(LLM)は、様々なドメインやタスクにおいて印象的な機能を持つことが実証されている。マルチターンテキスト・ツー・タスクにおけるプロンプト設計の問題について検討し,LLMの推論能力の向上を図る。
論文参考訳（メタデータ） (2024-05-04T16:56:14Z)
PET-SQL: A Prompt-Enhanced Two-Round Refinement of Text-to-SQL with Cross-consistency [19.067737007347613]
スパイダーベンチマークで新しいSOTA結果が得られ、実行精度は87.6%である。提案手法は, 87.6%の精度で, スパイダーベンチマークで新しいSOTA結果が得られる。
論文参考訳（メタデータ） (2024-03-13T02:32:41Z)
MAC-SQL: A Multi-Agent Collaborative Framework for Text-to-SQL [47.120862170230566]
最近のText-to-Yourselfメソッドは通常、"巨大な"データベース上での大幅なパフォーマンス劣化に悩まされる。我々は,新しいテキスト・ツー・ユー・セルフ LLM ベースのマルチエージェント協調フレームワーク MAC を紹介する。我々のフレームワークでは、GPT-4を全てのエージェントタスクの強力なバックボーンとして利用し、フレームワークの上限を決定する。次に、Code 7Bを活用することで、オープンソースの命令フォローモデルであるsql-Llamaを微調整し、GPT-4のように全てのタスクを達成します。
論文参考訳（メタデータ） (2023-12-18T14:40:20Z)
LLM-SQL-Solver: Can LLMs Determine SQL Equivalence? [8.051106281989671]
大きな言語モデル(LLM)は、会話、質問応答、課題解決において強力な推論能力を示している。 LLMの高品質な応答生成を支援するために,Miniature & Mull と Explain & Compare の2つのプロンプト技術を提案する。
論文参考訳（メタデータ） (2023-12-16T05:01:23Z)
TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
論文参考訳（メタデータ） (2023-12-14T15:37:04Z)
Text-to-SQL Empowered by Large Language Models: A Benchmark Evaluation [76.76046657162306]
大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。大規模言語モデル(LLM)はテキスト・ツー・タスクの新しいパラダイムとして登場した。
論文参考訳（メタデータ） (2023-08-29T14:59:54Z)
SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended) [53.95151604061761]
本稿では,大規模言語モデル(LLM)を用いたテキスト・ツー・フィルタリングのフレームワークを提案する。数発のプロンプトで、実行ベースのエラー解析による一貫性復号化の有効性について検討する。命令の微調整により、チューニングされたLLMの性能に影響を及ぼす重要なパラダイムの理解を深める。
論文参考訳（メタデータ） (2023-05-26T21:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。