論文の概要: Query Carefully: Detecting the Unanswerables in Text-to-SQL Tasks

• arxiv url: http://arxiv.org/abs/2512.21345v1
• Date: Fri, 19 Dec 2025 12:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-29 20:48:41.73923
• Title: Query Carefully: Detecting the Unanswerables in Text-to-SQL Tasks
• Title（参考訳）: Query Carefully: Text-to-SQLタスクにおける未解決項目の検出
• Authors: Jasmin Saxer, Isabella Maria Aigner, Luise Linzmeier, Andreas Weiler, Kurt Stockinger,
• Abstract要約: テキスト・ツー・システムでは、専門家以外の者が自然言語を使ってデータベースと対話できる。 あいまいな、スコープ外、あるいは解決不可能なクエリに対して実行可能なsqlを生成する傾向は、出力が正しいと誤解される可能性があるため、隠れたリスクをもたらす。 クエリは、sql生成を明示的なあいまいさと不可解な入力の処理と統合するパイプラインである。
• 参考スコア（独自算出の注目度）: 1.7781743265224403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-SQL systems allow non-SQL experts to interact with relational databases using natural language. However, their tendency to generate executable SQL for ambiguous, out-of-scope, or unanswerable queries introduces a hidden risk, as outputs may be misinterpreted as correct. This risk is especially serious in biomedical contexts, where precision is critical. We therefore present Query Carefully, a pipeline that integrates LLM-based SQL generation with explicit detection and handling of unanswerable inputs. Building on the OncoMX component of ScienceBenchmark, we construct OncoMX-NAQ (No-Answer Questions), a set of 80 no-answer questions spanning 8 categories (non-SQL, out-of-schema/domain, and multiple ambiguity types). Our approach employs llama3.3:70b with schema-aware prompts, explicit No-Answer Rules (NAR), and few-shot examples drawn from both answerable and unanswerable questions. We evaluate SQL exact match, result accuracy, and unanswerable-detection accuracy. On the OncoMX dev split, few-shot prompting with answerable examples increases result accuracy, and adding unanswerable examples does not degrade performance. On OncoMX-NAQ, balanced prompting achieves the highest unanswerable-detection accuracy (0.8), with near-perfect results for structurally defined categories (non-SQL, missing columns, out-of-domain) but persistent challenges for missing-value queries (0.5) and column ambiguity (0.3). A lightweight user interface surfaces interim SQL, execution results, and abstentions, supporting transparent and reliable text-to-SQL in biomedical applications.
• Abstract（参考訳）: テキストからSQLのシステムでは、非SQLの専門家が自然言語を使ってリレーショナルデータベースと対話できる。 しかし、不明瞭な、スコープ外、あるいは解決不可能なクエリのために実行可能なSQLを生成する傾向にあるため、出力が正しく解釈されていない可能性があるため、隠れたリスクが生じる。 このリスクは、精度が重要な生体医学的文脈において特に深刻である。 そこで我々は,LLMベースのSQL生成を統合したパイプラインであるQuery Carefullyを紹介した。 ScienceBenchmarkのOncoMXコンポーネント上に構築されているOncoMX-NAQ(No-Answer Questions)は、8つのカテゴリ(非SQL、out-of-schema/ドメイン、複数あいまいなタイプ)にまたがる80のノー回答質問のセットです。 我々のアプローチでは、llama3.3:70bにスキーマ対応プロンプト、明示的なNo-Answer Rules(NAR)、そして答えがつかない質問と答えられない質問の両方から引き出された少数例を採用しています。 我々はSQLの正確な一致、結果の精度、および不可解な検出精度を評価する。 OncoMXのディベロップメント分割では、応答可能な例による数発のプロンプトによって結果の精度が向上し、解決不可能な例を追加するとパフォーマンスが低下しない。 OncoMX-NAQでは、平衡プロンプトは、構造的に定義されたカテゴリ(非SQL、欠落列、アウトオブドメイン)に対してほぼ完璧な結果を得ると同時に、欠落値クエリ(0.5)と列曖昧性(0.3)に対する永続的な課題を達成している。 軽量なユーザインターフェースは、暫定SQL、実行結果、禁忌をサーフェスし、バイオメディカルアプリケーションで透過的で信頼性の高いテキスト・トゥ・SQLをサポートする。

関連論文リスト

• AmbiSQL: Interactive Ambiguity Detection and Resolution for Text-to-SQL [0.9217021281095907]
  本稿では,クエリのあいまいさを自動的に検出し,ユーザの意図を明らかにするための複数の質問を通じてユーザをガイドする対話型システムAmbiを紹介する。 Ambiは曖昧さ検出の87.2%を達成し、テキストからデータセットシステムに統合された場合、精度を50%向上する。
  論文  参考訳（メタデータ） (2025-08-21T06:10:28Z)
• RSL-SQL: Robust Schema Linking in Text-to-SQL Generation [51.00761167842468]
  本稿では、双方向スキーマリンク、コンテキスト情報拡張、バイナリ選択戦略、マルチターン自己補正を組み合わせたRSLと呼ばれる新しいフレームワークを提案する。 ベンチマークの結果,オープンソースのソリューション間でのSOTA実行精度は67.2%,BIRDは87.9%,GPT-4オクルージョンは87.9%であった。 提案手法は,DeepSeekを同一のプロンプトで適用した場合,GPT-4ベースのテキスト・ツー・シークシステムよりも優れている。
  論文  参考訳（メタデータ） (2024-10-31T16:22:26Z)
• E-SQL: Direct Schema Linking via Question Enrichment in Text-to-SQL [1.187832944550453]
  E-Seekは、直接スキーマリンクと候補述語拡張を通じてこれらの課題に対処するように設計された、新しいパイプラインである。 E-Seekは、関連するデータベース項目(テーブル、列、値)と条件を直接質問とsql構築計画に組み込むことで、自然言語クエリを強化し、クエリとデータベース構造の間のギャップを埋める。 総合的な評価は、E-Seekが競争性能、特に66.29%の実行精度で複雑なクエリに優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-25T09:02:48Z)
• Benchmarking and Improving Text-to-SQL Generation under Ambiguity [25.283118418288293]
  我々はAmbiQTと呼ばれる新しいベンチマークを開発し、各テキストは語彙的および/または構造的あいまいさのために2つのもっともらしいSQLとして解釈できる。 提案するLogicalBeamは,計画ベースのテンプレート生成と制約付きインフィルを併用して,sql論理空間をナビゲートする新しい復号アルゴリズムである。
  論文  参考訳（メタデータ） (2023-10-20T17:00:53Z)
• UNITE: A Unified Benchmark for Text-to-SQL Evaluation [72.72040379293718]
  テキスト・ツー・ドメイン・システムのためのUNIfiedベンチマークを導入する。 公開されているテキストからドメインへのデータセットと29Kデータベースで構成されている。 広く使われているSpiderベンチマークと比較すると、SQLパターンの3倍の増加が紹介されている。
  論文  参考訳（メタデータ） (2023-05-25T17:19:52Z)
• Know What I don't Know: Handling Ambiguous and Unanswerable Questions for Text-to-SQL [36.5089235153207]
  既存のtext-to-Yourself は任意のユーザ質問に対して "plausible" クエリを生成する。 本稿では,不明瞭かつ解決不可能な例を自動的に生成する,シンプルで効果的な生成手法を提案する。 実験結果から,実例と生成例の両方において,本モデルが最も優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-12-17T15:32:00Z)
• Weakly Supervised Text-to-SQL Parsing through Question Decomposition [53.22128541030441]
  我々は最近提案されたQDMR(QDMR)という意味表現を活用している。 質問やQDMR構造(非専門家によって注釈付けされたり、自動予測されたりする)、回答が与えられたら、我々は自動的にsqlクエリを合成できる。 本結果は,NL-ベンチマークデータを用いて訓練したモデルと,弱い教師付きモデルが競合することを示す。
  論文  参考訳（メタデータ） (2021-12-12T20:02:42Z)
• Dual Reader-Parser on Hybrid Textual and Tabular Evidence for Open Domain Question Answering [78.9863753810787]
  世界の知識は構造化データベースに保存されている。 クエリ言語は、複雑な推論を必要とする質問に答えるだけでなく、完全な説明可能性を提供することができる。
  論文  参考訳（メタデータ） (2021-08-05T22:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。