論文の概要: PremiseSQL: Evaluating Premise Critique and Abstention in Text-to-SQL Systems

• arxiv url: http://arxiv.org/abs/2610.22158v1
• Date: Thu, 15 Oct 2026 16:23:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.189939
• Title: PremiseSQL: Evaluating Premise Critique and Abstention in Text-to-SQL Systems
• Title（参考訳）: PremiseSQL: テキストからSQLシステムへの事前の批判と無視を評価する
• Abstract要約: 既存のNL2システムは、ユーザクエリが有効であり、応答可能であると仮定している。 我々はNL2における前提的批判能力を紹介する。 実験によると、現在のモデルはデフォルトで強く前提に依存している。
• 参考スコア（独自算出の注目度）: 15.194707758181357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have substantially improved Text-to-SQL performance, yet existing NL2SQL systems largely assume that user queries are valid and answerable. As a result, models often generate executable SQL even for queries with flawed premises. We introduce premise critique ability in NL2SQL, namely the ability to recognize flawed queries and abstain from generating misleading SQL. To evaluate this capability, we propose PremiseSQL, a benchmark containing 1,800 flawed NL2SQL queries across four categories of premise failures, along with their 1,800 original queries. We further design an evaluation framework to measure intrinsic and prompt-induced premise-aware behavior across three prompting settings. Experiments on frontier LLMs show that current models are strongly premise-trusting by default and rarely critique flawed premises. Stronger critique-oriented prompting improves detection and abstention on flawed queries, but also increases false invalid judgments and suppresses SQL generation on originals. The code is available at https://github.com/vegeet/PremiseSQL.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、テキストとSQLのパフォーマンスを大幅に改善しているが、既存のNL2SQLシステムは、ユーザクエリが有効であり、応答可能であると想定している。 その結果、モデルはしばしば、欠陥のある前提を持つクエリに対しても実行可能なSQLを生成する。 我々は、NL2SQLにおける前提的批判機能、すなわち、欠陥のあるクエリを認識でき、ミスリードSQLを発生させない能力を導入する。 この能力を評価するために、前提障害の4カテゴリにわたる1,800のNL2SQLクエリと1,800のオリジナルのクエリを含むベンチマークであるPremiseSQLを提案する。 さらに、3つのプロンプト設定にまたがる本質的および即興的な前提認識行動を測定するための評価フレームワークを設計する。 フロンティア LLM の実験では、現在のモデルはデフォルトによって強く前提に依存しており、稀に批判的な欠陥のある前提に依存していることが示されている。 より強い批判指向のプロンプトは、欠陥のあるクエリの検出と停止を改善すると同時に、誤判定を増大させ、オリジナルに対するSQL生成を抑制する。 コードはhttps://github.com/vegeet/PremiseSQLで入手できる。

関連論文リスト

• ErrorLLM: Modeling SQL Errors for Text-to-SQL Refinement [57.98138819417949]
  テキスト・ツー・クエリを明示的にモデル化するフレームワークであるErrorLLMを提案する。 ErrorLLMは、バックボーンの初期生成よりも大幅に改善されていることを示す。 ErrorLLMは、精錬効率を維持しつつ、高い検出F1スコアで両面に対処する。
  論文  参考訳（メタデータ） (2026-03-04T05:27:20Z)
• SQLens: An End-to-End Framework for Error Detection and Correction in Text-to-SQL [20.93676525997898]
  テキスト・トゥ・ザ・ボックス・システムによって生成される大規模言語モデル(LLM)における意味的誤りの詳細な検出と修正のためのエンドツーエンドフレームワークを提案する。 提案手法は誤り検出のためのF1の25.78%の自己評価法よりも優れた性能を示し,アウト・オブ・ザ・ボックスシステムの実行精度を最大20%向上させる。
  論文  参考訳（メタデータ） (2025-06-04T22:25:47Z)
• TrustSQL: Benchmarking Text-to-SQL Reliability with Penalty-Based Scoring [11.78795632771211]
  本稿では,任意の入力質問を正しく処理するモデルとして,テキスト・ツー・信頼性を評価するための新しいベンチマークを提案する。 2つのモデリング手法を用いて,新たなペナルティに基づく評価基準を用いた既存手法の評価を行った。
  論文  参考訳（メタデータ） (2024-03-23T16:12:52Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• Towards Generalizable and Robust Text-to-SQL Parsing [77.18724939989647]
  本稿では,タスク分解,知識獲得,知識構成からなる新しいTKKフレームワークを提案する。 このフレームワークは,Spider,SParC,Co.データセット上でのすべてのシナリオと最先端のパフォーマンスに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T09:21:27Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。