論文の概要: Certified Against Which Oracle? Execution Labels Set the Reported Risk of Conformal Abstention for Text-to-SQL

• arxiv url: http://arxiv.org/abs/2609.25938v1
• Date: Tue, 22 Sep 2026 09:44:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.313697
• Title: Certified Against Which Oracle? Execution Labels Set the Reported Risk of Conformal Abstention for Text-to-SQL
• Title（参考訳）: Oracle に対して認証されているか? Execution Labels が Text-to-SQL に対する Conformal Abstention のリスクを報告
• Abstract要約: 我々はスパイダー・リアリスティックに事前登録された介入を行う。 私たちはそのデータベースを、ベンチマークの蒸留マルチインスタンステストスイートに置き換えます。 一貫性のスコアは、それを構築していないオラクルの下で評価されるべきです。
• 参考スコア（独自算出の注目度）: 4.621071191322703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A conformal abstention certificate for text-to-SQL is only as truthful as the correctness labels it is calibrated on. The uncertainty pipelines that read confidence off execution consistency take those labels from the single database a benchmark ships, an oracle known to be lenient. We run a preregistered intervention on Spider-Realistic, swapping that database for the benchmark's distilled multi-instance test suite. Across four SQL-specialist checkpoints and two split schemes, the swap raises the certificate's held-out risk 2.73 to 10.23 points above the risk its own labels report. Neither oracle reports the risk experts assign. Under blinded labels from two SQL experts, a certificate calibrated at a nominal 0.10 carries 20.0 and 17.2 points of risk on two checkpoints. The stricter oracle errs in both directions: most of the answers it rejects are not judged wrong, and some of those it accepts are. An AI-assigned census of what it rejects finds a semantic error in a quarter to a third of them, depending on the population. It attributes most of the rest to underspecified questions, synthetic instances or suspected reference-query defects, a flag supported by a preregistered blinded expert audit. The oracle also decides how a confidence score is judged. Every execution-consistency score looks better under the labels of the oracle that built its clusters, in 16 of 16 combinations. Under expert labels, building such a score on suite clusters instead of shipped-database clusters raises its area under the ROC curve (AUROC) by 6.96 points on one checkpoint and 1.53 on the other. On the second, the expert interval excludes the 8.3 points the suite labels report. A certificate should be reported with both oracles, and an oracle-relative difference read as semantic risk only after the benchmark is audited. A consistency score should be evaluated under an oracle that did not build it.
• Abstract（参考訳）: テキストからSQLへのコンフォーマルな禁忌証明書は、校正された正しさラベルと同じくらい真実である。 実行整合性の信頼性を読み取る不確実性パイプラインは、ベンチマークが出荷される単一のデータベースからラベルを取り出す。 我々は、Spider-Realisticに事前登録された介入を実行し、そのデータベースをベンチマークの蒸留マルチインスタンステストスイートに置き換える。 4つのSQL-スペシャリストチェックポイントと2つの分割スキームにまたがって、スワップは証明書の保持リスクを2.73から10.23ポイントに引き上げる。 どちらのオラクルも、リスクの専門家が割り当てたことを報告しません。 2人のSQL専門家の盲目ラベルの下では、2つのチェックポイントで20.0と17.2ポイントのリスクを負う。 どちらの方向にも厳格な宣誓供述書は、拒否する答えのほとんどが間違っておらず、受け入れる答えのいくつかは間違っていない。 AIが指定した調査では、人口によっては4分の1から3分の1のセマンティックエラーが検出されている。 残りのほとんどは、未特定の質問、合成事例、あるいは疑わしい参照クエリー欠陥によるもので、事前に登録されたブラインドされた専門家監査によって支持されるフラグである。 託宣は、自信のスコアをどう判断するかも決定する。 すべての実行一貫性スコアは、16のコンビネーションのうち16の組み合わせで、クラスタを構築したオラクルのラベルの下にあるように見えます。 専門家のラベルの下では、出荷されたデータベースクラスタではなく、スイートクラスタ上でそのようなスコアを構築することで、ROC曲線(AUROC)の下の領域を1つのチェックポイントで6.96ポイント、もう1つのチェックポイントで1.53ポイント上昇させる。 第2に、専門家インターバルは、スイートラベルレポートの8.3ポイントを除外する。 証明書は両方のオラクルで報告され、ベンチマークが監査された後にのみ意味リスクとして読み取られる。 一貫性のスコアは、それを構築していないオラクルの下で評価されるべきです。

関連論文リスト

• IBIB: A Protocol for Measuring Enterprise AI Systems by Serving Route, Not Model Identifier [0.0]
  監査された18のベンチマークはすべて、広告付きモデルの識別子をスコア付けする。 ゴールドブラインド機能バインディングプレフライトは、どのタスクが到達する前に、ルートが評価契約を実行可能であることを確認する。 信頼性非包括的なファーストパススコアリングルールは、有効性を保ちながらスコアの失敗を維持する。
  論文  参考訳（メタデータ） (2026-09-09T17:31:29Z)
• Oracles That Cannot Fail: Anchoring and the Expectation That Moves With the Fault [0.8741110159894001]
  判断するシステムから期待値を取得するテストオラクルは失敗しない。 欠陥が測定と期待を合わせて移動し、比較が正確にキャンセルされ、生成された入力が明らかにされることはない。 我々は、そのような値が評定に達すると、その述語を変異対象から流れる値に制限し、それを測定する、さらに3つのチャンネルを命名する。
  論文  参考訳（メタデータ） (2026-08-17T23:56:16Z)
• From Diagnosis to Correction: Benchmarking and Improving Real-World Table Parsing [50.70862449978062]
  最近の文書では OmniDocBench v1.6 の 93 以上の TEDS スコアが達成されている。 このギャップを定量化するために、916の現実世界のテーブルの診断ベンチマークであるTableParseMapを紹介します。
  論文  参考訳（メタデータ） (2026-08-10T16:59:30Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• What Predicts Correctness in Text-to-SQL? A Selective-Prediction Study [0.0]
  我々はAUROCを用いて、各クエリがいかに正確かを測定する。 BIRDとスパイダーでは、文字列、構造、実行の自己整合性、スキーマ関連スコア、クエリ実行性といったブラックボックス信号はすべて0.61から0.68AUROCに該当する。 検証器をトレーニングできるかどうかを問う。符号化器と生成器の両方で、約0.77～0.79 AUROCの非分布に到達するが、未知のスキーマでは約0.66に低下する。
  論文  参考訳（メタデータ） (2026-07-07T20:52:58Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• Iterative Causal Discovery: Per-Edge Impossibility Certificates, Tier-Aware Oracle Queries, and the $1+K$ Lower Bound [0.0]
  因果発見アルゴリズムは有向グラフを返すが、データによって識別されるエッジ方向と、識別された仮定なしで割り当てられたエッジ方向を区別する原則的な手段は提供しない。 本稿では,各候補エッジに個別の不確実性証明を添付した連続データに対する観測因果発見プロトコルを提案する。 2つのオラクルプリミティブ、メタハブクエリとノードチャイルドクエリは、DAGを回復するのに十分な1+K$のエキスパートインタラクションの上限を共同で確立する。
  論文  参考訳（メタデータ） (2026-05-26T12:01:32Z)
• Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
  十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。 STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。 STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
  論文  参考訳（メタデータ） (2026-04-02T01:13:40Z)
• Flaky Tests in a Large Industrial Database Management System: An Empirical Study of Fixed Issue Reports for SAP HANA [45.467566253448666]
  不安定なテストは、同じバージョンのソースコードに対して複数回実行されると、異なる結果をもたらす。 様々な要因がテストのフレキネスを引き起こすことがある。 不安定なテストを修正するアプローチは、通常、特定の原因に対処するために調整される。
  論文  参考訳（メタデータ） (2026-02-03T14:03:59Z)
• GLEAN: Grounded Lightweight Evaluation Anchors for Contamination-Aware Tabular Reasoning [0.5414847001704249]
  本稿では, 汚染対応プローブ, 弱スーパービジョンガバナンス, 検索推論診断, 構造化エラー属性を統合する軽量な評価プロトコルを提案する。 我々は16GBのGPU予算でTabFact、WTQをSquall、TableBench、RobuT、SciTabで評価した。
  論文  参考訳（メタデータ） (2026-01-22T13:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。