論文の概要: Does a Governed Confidence Score Know When a Text-to-SQL Answer Is Right? An Exploratory Study on BIRD and a Pre-registered Confirmation on Spider

• arxiv url: http://arxiv.org/abs/2610.17256v1
• Date: Mon, 12 Oct 2026 18:14:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.43853
• Title: Does a Governed Confidence Score Know When a Text-to-SQL Answer Is Right? An Exploratory Study on BIRD and a Pre-registered Confirmation on Spider
• Title（参考訳）: テキストからSQLへの回答が正しいとき、信頼度は高くなるか? : BIRDの探索的研究とクモの事前登録確認
• Abstract要約: プロダクションシステムは、データベース上に書き込んだすべての回答に信頼スコアを付け、それを使用して、回答を示し、警告でそれを表示し、保持する。 この論文はその設計を監査する。 BIRDの1,534の質問に対して、GPT-5.1は、ベンチマーク適応された生産プロンプトと1問あたり5つのサンプルで回答し、設計されたスコアは、間違った回答(AUROC 0.624, 95% CI 0.595-0.652)から正しく分離し、正しい回答の35.7%を抑える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conversational analytics lets people ask questions of records spread across many systems and get answers in plain language; it is useful only if each answer can be trusted and explained. A production system of this kind attaches a confidence score to every answer it writes over a database and uses it to show the answer, show it with a warning, or withhold it. The score's weights, caps and thresholds were set by design. This paper audits that design. On the 1,534 questions of BIRD dev, answered by GPT-5.1 with a benchmark-adapted production prompt and five samples per question, the designed score separates right from wrong answers weakly (AUROC 0.624, 95% CI 0.595-0.652) and withholds 35.7% of correct answers. Nearly all of its ranking signal comes from agreement among the samples, and most of it is lost where agreement is combined by a minimum with a checklist that drops to zero on any unsupported claim, including claims in commentary. We froze a rule in which agreement with the shown answer is the score and deterministic checks act as vetoes and caps, and pre-registered a test on Spider dev before any Spider answer existed. The primary hypothesis held: AUROC rose from 0.566 to 0.725 (paired difference +0.159, 95% CI +0.097 to +0.221), and correct answers withheld fell from 49.0% to 8.8% with PASS accuracy 95.7%. Under one matching policy the choice of agreement statistic matters little; the gain comes from how agreement enters the score. Whether added checks help depends on how correctness is defined, while they always cost unqualified coverage. A pre-registered empty-result check did not meet its effect-size criterion on Spider. Correctness here means the core answer; labels are model-judged, and a blinded two-person audit, not yet complete, will be reported in a revised version.
• Abstract（参考訳）: 会話分析では、多くのシステムにまたがるレコードに関する質問をしたり、平易な言語で回答を得ることができます。 この種のプロダクションシステムは、データベースに書き込んだすべての回答に信頼スコアを付け、それを使って回答を表示したり、警告でそれを表示したり、保持したりします。 スコアの重量、キャップ、閾値は設計によって設定された。 この論文はその設計を監査する。 BIRDの1,534の質問に対して、GPT-5.1は、ベンチマーク適応された生産プロンプトと1問あたり5つのサンプルで回答し、設計されたスコアは、間違った回答(AUROC 0.624, 95% CI 0.595-0.652)から正しく分離し、正しい回答の35.7%を抑える。 ほぼすべてのランキングシグナルはサンプル間の合意によるもので、ほとんどの場合、合意が最小限にまとめられ、チェックリストは、コメントのクレームを含む、支持できないクレームでゼロに落ちる。 我々は、以下の回答との合意がスコアであり、決定論的チェックが獣医と帽子として機能するルールを凍結させ、スパイダーの答えが存在する前にスパイダーデーブの試験を事前登録した。 AUROCは0.566から0.725(paired difference +0.159, 95% CI +0.097 to +0.221)まで上昇し、PASS精度95.7%で49.0%から8.8%に低下した。 1つの一致した政策の下では、合意統計の選択はほとんど重要ではなく、その利得は、どのように合意がスコアに入るかから生じる。 チェックを追加するかは、どの程度の正確性を定義するかによって異なります。 登録済みの空の反発チェックは、スパイダーに対する効果サイズの基準を満たしなかった。 ここでの正確性は、中核的な答えを意味します。ラベルはモデルで判断され、盲目の2人による監査は、まだ完了していないが、改訂版で報告されます。

関連論文リスト

• Auditing Failure Attribution: Label Predictability and Judge Behavior [34.40964032907198]
  キューの使用からチェックを分離する4つのテストを提案する。 3つのベンチマークでは、単純な予測器がGPT-4.1にマッチまたは打ち勝つ。 フェール・アトリビューション・ベンチマークを開発する際には、これらのテストを報告することをお勧めします。
  論文  参考訳（メタデータ） (2026-10-13T05:26:33Z)
• What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs [10.720985236309462]
  FEVEROUSでは、厳格なスコアは、提出された証拠の正しい回答と完全な注釈付き証拠グループによるクレームの割合である。 4つの訓練されたDeBERTaチェックポイントと7,890のクレームで、DCUFの証拠をUnifEEの証拠に置き換え、厳格なスコアを9.61ポイント引き上げた。 この効果は、予め規定されたクロスデータセットの基準に満たないが、いくつかの間隔は2点の小さな効果境界を超えて広がる。
  論文  参考訳（メタデータ） (2026-09-22T21:02:40Z)
• SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs? [39.004582663385364]
  Benchprooferは、既知の正しいパッチでコーディングタスクを正式に認証されたパイプラインに変換するパイプラインです。 SWE-bench Verified に適用すると SWE-Proof が得られる。
  論文  参考訳（メタデータ） (2026-09-18T01:16:53Z)
• From Scores to Evidence: Auditable Decisions Can Improve Speech Deepfake Detection [12.159476982130286]
  音声のディープフェイクは、聞き手や自動化されたシステムを騙すのに十分な説得力のある話者の声を模倣することができる。 ほとんどの検出器は発話ごとに1点のスコアで終わるが、なぜ境界線アイテムが信頼されるべきなのか、延期されたのか、あるいはレビューされるべきなのかは、ほとんど語っていない。 この疑問に答えるには、4つの整列した手がかりを後期校正ステップに伝達する監査可能な決定記録がある。
  論文  参考訳（メタデータ） (2026-09-08T15:38:57Z)
• Where the Verifier Fails: A Category-Level Audit of Reward Signals in RLVR [0.0]
  報酬付き強化学習(RLVR)と標準ベンチマーク評価はどちらも、無料テキスト回答をバイナリ報酬に変換する自動検証に頼っている。 以前の調査では、1つの評価ハーネスは、自身の真実の答えの94%しか受け入れず、解析を非難している。 モデルではなく検証器にメタモルフィックテストを適用し、検証された等価解の変種を生成する。 我々は、307,420以上の4つの広く使用されている検証結果に対して、回答カテゴリごとの拒絶を計測する。
  論文  参考訳（メタデータ） (2026-09-01T14:57:59Z)
• PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
  PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。 各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。 我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
  論文  参考訳（メタデータ） (2026-08-24T17:13:25Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。