論文の概要: Node-Level Uncertainty Estimation in LLM-Generated SQL

• arxiv url: http://arxiv.org/abs/2511.13984v1
• Date: Mon, 17 Nov 2025 23:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-19 16:23:52.83459
• Title: Node-Level Uncertainty Estimation in LLM-Generated SQL
• Title（参考訳）: LLM生成SQLにおけるノードレベル不確実性推定
• Authors: Hilaf Hasson, Ruocheng Guo,
• Abstract要約: 本稿では,構造コンテナやエイリアスの変化を過小評価することなく,ノードレベルの正しさを割り当てるセマンティックなラベリングアルゴリズムを提案する。 私たちは、識別子の妥当性、エイリアス解決、型互換性、スコープのあいまいさ、タイポ信号といった、スキーマ認識と語彙の豊富な機能で、各ノードを表現します。 これらの確率は不確実性であると解釈し、クエリの誤りを正確に特定するきめ細かい診断を可能にする。
• 参考スコア（独自算出の注目度）: 13.436696325103147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a practical framework for detecting errors in LLM-generated SQL by estimating uncertainty at the level of individual nodes in the query's abstract syntax tree (AST). Our approach proceeds in two stages. First, we introduce a semantically aware labeling algorithm that, given a generated SQL and a gold reference, assigns node-level correctness without over-penalizing structural containers or alias variation. Second, we represent each node with a rich set of schema-aware and lexical features - capturing identifier validity, alias resolution, type compatibility, ambiguity in scope, and typo signals - and train a supervised classifier to predict per-node error probabilities. We interpret these probabilities as calibrated uncertainty, enabling fine-grained diagnostics that pinpoint exactly where a query is likely to be wrong. Across multiple databases and datasets, our method substantially outperforms token log-probabilities: average AUC improves by +27.44% while maintaining robustness under cross-database evaluation. Beyond serving as an accuracy signal, node-level uncertainty supports targeted repair, human-in-the-loop review, and downstream selective execution. Together, these results establish node-centric, semantically grounded uncertainty estimation as a strong and interpretable alternative to aggregate sequence level confidence measures.
• Abstract（参考訳）: 本稿では,クエリの抽象構文木(AST)における個々のノードのレベルでの不確かさを推定することにより,LLM生成SQLの誤りを検出するための実用的なフレームワークを提案する。 私たちのアプローチは2段階に進む。 まず、生成したSQLと金の参照が与えられた場合、構造コンテナやエイリアスの変化を過小評価することなくノードレベルの正しさを割り当てるセマンティックなラベリングアルゴリズムを導入する。 第二に、各ノードに、識別子の妥当性、エイリアス解決、型互換性、スコープのあいまいさ、タイポ信号などのリッチなスキーマ認識と語彙機能を持たせることで、各ノードを表現し、ノード毎のエラー確率を予測するために教師付き分類器を訓練する。 これらの確率はキャリブレーションされた不確実性であると解釈し、クエリの誤りを正確に特定する詳細な診断を可能にする。 複数のデータベースやデータセットにまたがって、我々の手法はトークンログの確率を大幅に上回り、平均AUCは、データベース間評価の下で堅牢性を維持しながら、+27.44%改善する。 正確性信号として機能する以外に、ノードレベルの不確実性は、ターゲットの修復、ヒューマン・イン・ザ・ループのレビュー、下流の選択的な実行をサポートする。 これらの結果から,ノード中心のセマンティックな不確実性推定を,集約的シーケンスレベルの信頼度測定の強大かつ解釈可能な代替手段として確立した。

関連論文リスト

• Prompt-Matcher: Leveraging Large Models to Reduce Uncertainty in Schema Matching Results [1.13107643869251]
  本稿では,大規模言語モデルの特定のプロンプトを用いた細粒度対応検証に基づく新しい手法を提案する。 本手法は,(1)対応選択アルゴリズム,(2)対応検証,(3)確率分布の更新の3つの主成分からなる反復ループである。 本稿では,計算効率においてブルートアルゴリズムを著しく上回る新しい$(1-1/e)$-approximationアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-24T16:54:08Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
  本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。 5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-09-14T06:27:51Z)
• Semi-supervised Contrastive Outlier removal for Pseudo Expectation Maximization (SCOPE) [2.33877878310217]
  Pseudo expectation Maximization (SCOPE) のための半教師付きコントラスト外乱除去法を用いて, 共起誤差を抑制する新しい手法を提案する。 その結果,SCOPEはベースライン上での半教師付き分類精度を大幅に向上し,さらに整合正則化と組み合わせた場合,250と4000のラベル付きサンプルを用いた半教師付きCIFAR-10分類タスクにおいて最も高い精度が得られた。
  論文  参考訳（メタデータ） (2022-06-28T19:32:50Z)
• Approximate Conditional Coverage via Neural Model Approximations [0.030458514384586396]
  実験的に信頼性の高い近似条件付きカバレッジを得るためのデータ駆動手法を解析する。 我々は、限界範囲のカバレッジ保証を持つ分割型代替案で、実質的な(そして、そうでない)アンダーカバーの可能性を実証する。
  論文  参考訳（メタデータ） (2022-05-28T02:59:05Z)
• Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive Person Re-Identification [54.174146346387204]
  ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。 擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。 本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
  論文  参考訳（メタデータ） (2021-12-28T07:40:12Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。