論文の概要: What Predicts Correctness in Text-to-SQL? A Selective-Prediction Study

• arxiv url: http://arxiv.org/abs/2607.06799v1
• Date: Tue, 07 Jul 2026 20:52:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.223893
• Title: What Predicts Correctness in Text-to-SQL? A Selective-Prediction Study
• Title（参考訳）: テキスト・トゥ・SQLにおける正確さの予測 : 選択予測による研究
• Abstract要約: 我々はAUROCを用いて、各クエリがいかに正確かを測定する。 BIRDとスパイダーでは、文字列、構造、実行の自己整合性、スキーマ関連スコア、クエリ実行性といったブラックボックス信号はすべて0.61から0.68AUROCに該当する。 検証器をトレーニングできるかどうかを問う。符号化器と生成器の両方で、約0.77～0.79 AUROCの非分布に到達するが、未知のスキーマでは約0.66に低下する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating uncertainty in AI-generated SQL queries requires estimating whether a query is correct, where correct means it executes to the same result as a human-written reference. We study which signals predict correctness on hard multi-table text-to-SQL, using AUROC to measure how well each ranks correct queries above incorrect ones. On BIRD and Spider, black-box signals such as string, structural, and execution self-consistency, a schema-relevance score, and query executability all fall between about 0.61 and 0.68 AUROC, with string self-consistency strongest at 0.675; white-box log-probability is similar (0.67). The signals that move past this ceiling are verification-based: an LLM judge scores from 0.72 (GPT-4o-mini) to 0.78 (Claude). Judges from different providers make different errors, so a two-provider ensemble reaches 0.82 AUROC with a well-calibrated probability (expected calibration error 0.03) and supports useful abstention frontiers (for example, answering 27% of questions at 24% selective risk) where self-consistency offers no valid low-risk subset. The pattern holds across two benchmarks, two generators, and two judge providers. We also ask whether a verifier can be trained. Fine-tuned verifiers, both encoder and generative, reach about 0.77 to 0.79 AUROC in-distribution but fall to about 0.66 on unseen schemas; scaling to 7B, adding schema diversity, distilling a strong judge's rationales, and cross-benchmark training all fail to close that gap. Cross-schema transfer appears to track model scale and reasoning rather than fine-tuning. In practice, correctness uncertainty for text-to-SQL lives in reasoning-based signals: a fine-tuned verifier is a good in-domain tool, but a verifier that generalizes across schemas currently means a large frozen reasoning model.
• Abstract（参考訳）: AI生成したSQLクエリの不確実性を評価するには、クエリが正しいかどうかを推定する必要がある。 我々は、AUROCを用いて、ハードマルチテーブルのテキスト-to-SQL上で、どの信号が正しいかを予測し、正しいクエリを正しくランク付けするかを計測する。 BIRDとスパイダーでは、文字列、構造、実行の自己整合性、スキーマ関連スコア、クエリ実行性などのブラックボックス信号がそれぞれ0.61から0.68AUROCに落ち、文字列の自己整合性は0.675で、ホワイトボックスの対数確率は0.67である。 LLMの審査員は0.72(GPT-4o-mini)から0.78(Claude)にスコアを付けている。 異なるプロバイダの裁判官は異なるエラーを犯すため、2段階のアンサンブルはよく校正された確率(推定キャリブレーション誤差0.03)で0.82 AUROCに達し、自己整合性が有効な低リスクサブセットを提供しない便利な禁断フロンティア(例えば24%の選択リスクで27%の質問に答える)をサポートする。 このパターンは、2つのベンチマーク、2つのジェネレータ、2つのジャッジプロバイダにまたがる。 また、検証者が訓練できるかどうかも問う。 符号化器と生成器の両方で調整された検証器は、約0.77から0.79AUROCの分配に到達するが、見えないスキーマでは約0.66に減少し、7Bにスケールし、スキーマの多様性を追加し、強い裁判官の合理性を蒸留し、クロスベンチマークのトレーニングは全てそのギャップを埋めることができない。 クロススキーマ転送は、微調整ではなく、モデルスケールと推論を追跡するように見える。 微調整検証はドメイン内の優れたツールであるが、スキーマをまたいで一般化する検証は、現在、大規模な凍結推論モデルである。

関連論文リスト

• text2ql: Multi-Target Natural Language Querying via a Language-Agnostic Intermediate Representation [0.9927219503124457]
  本稿では,自然言語インタフェースのためのオープンソースのPythonアーキテクチャであるtext2qlについて述べる。 自然言語インタフェースからデータベースへの3つの構造的制限に対処する。 言語に依存しない中間表現(QueryIR)アーキテクチャに基づいている。
  論文  参考訳（メタデータ） (2026-09-02T05:09:51Z)
• AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability [16.27940179594792]
  AdversaBenchは、5つの構造化演算子でシードプロンプトをミュートするエンドツーエンドの赤チームパイプラインである。 本報告では, 推論, 指示追従, ツール利用の3つのカテゴリにまたがる45種の種子について実験を行った。
  論文  参考訳（メタデータ） (2026-06-23T13:50:51Z)
• Do LLM Attribution Metrics Transfer? Auditing Retrieval-Augmented Generation Evaluation Across Datasets and Constructs [11.997694190254974]
  しばしば、帰属のための自動メトリクスを交換可能なものとして扱う。 3つの評価項目にまたがって8つの自動スコアを監査する。 評価器を選択するための単純な"best-on-average"ルールは、そのままのデータセットアウトに失敗する。
  論文  参考訳（メタデータ） (2026-06-22T20:25:36Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference [0.0]
  VERDI(verification-Decomposed Inference Inference)は、構造化された裁判官から信頼を抽出する手法である。 VERDIは各評価をサブチェックに分解し、3つの構造信号を導出する。 3つの公開ベンチマークで、VERDIはGPT-4.1-miniでAUROC 0.72-0.91、GPT-5.4-miniで0.66-0.80を達成した。
  論文  参考訳（メタデータ） (2026-05-11T23:39:19Z)
• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• GLEAN: Grounded Lightweight Evaluation Anchors for Contamination-Aware Tabular Reasoning [0.5414847001704249]
  本稿では, 汚染対応プローブ, 弱スーパービジョンガバナンス, 検索推論診断, 構造化エラー属性を統合する軽量な評価プロトコルを提案する。 我々は16GBのGPU予算でTabFact、WTQをSquall、TableBench、RobuT、SciTabで評価した。
  論文  参考訳（メタデータ） (2026-01-22T13:56:19Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。