Fugu-MT 論文翻訳(概要): Calibrated Confidence Estimation for Tabular Question Answering

論文の概要: Calibrated Confidence Estimation for Tabular Question Answering

arxiv url: http://arxiv.org/abs/2604.12491v1
Date: Tue, 14 Apr 2026 09:16:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-15 19:11:32.370418
Title: Calibrated Confidence Estimation for Tabular Question Answering
Title（参考訳）: 質問紙回答に対する校正信頼度推定
Authors: Lukas Voss,
Abstract要約: ECE 0.35-0.64 に対して、テキスト QA では 0.10-0.15 が報告されている)。摂動二分法に対する一貫した自己評価は、両方のベンチマークと4つの完全にカバーされたモデル間で複製される。構造を意識した再校正による二次貢献は、標準的なポストホック法よりもAUROCをパーセンテージポイントで改善する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) are increasingly deployed for tabular question answering, yet calibration on structured data is largely unstudied. This paper presents the first systematic comparison of five confidence estimation methods across five frontier LLMs and two tabular QA benchmarks. All models are severely overconfident (smooth ECE 0.35-0.64 versus 0.10-0.15 reported for textual QA). A consistent self-evaluation versus perturbation dichotomy replicates across both benchmarks and all four fully-covered models: self-evaluation methods (verbalized, P(True)) achieve AUROC 0.42-0.76, while perturbation methods (semantic entropy, self-consistency, and our Multi-Format Agreement) achieve AUROC 0.78-0.86. Per-model paired bootstrap tests reject the null at p<0.001 after Holm-Bonferroni correction, and a 3-seed check on GPT-4o-mini gives a per-seed standard deviation of only 0.006. The paper proposes Multi-Format Agreement (MFA), which exploits the lossless and deterministic serialization variation unique to structured data (Markdown, HTML, JSON, CSV) to estimate confidence at 20% lower API cost than sampling baselines. MFA reduces ECE by 44-63%, generalizes across all four models on TableBench (mean AUROC 0.80), and combines complementarily with sampling: an MFA + self-consistency ensemble lifts AUROC from 0.74 to 0.82. A secondary contribution, structure-aware recalibration, improves AUROC by +10 percentage points over standard post-hoc methods.
Abstract（参考訳）: 大規模言語モデル (LLM) は、表形式の質問応答のためにますますデプロイされているが、構造化データのキャリブレーションはほとんど研究されていない。本稿では,5つのフロンティアLCMと2つのタブ状QAベンチマークを対象とした5つの信頼度推定手法の体系的比較を行った。 ECE 0.35-0.64 に対して、テキスト QA では 0.10-0.15 が報告されている)。一貫した自己評価対摂動二分法は、両ベンチマークおよび全完全カバーされた4つのモデルにまたがって複製される: 自己評価法(バーバル化、P(True))はAUROC 0.42-0.76、摂動法(セマンティックエントロピー、自己整合性、および我々のマルチフォーマット契約)はAUROC 0.78-0.86である。モデル毎のブートストラップテストでは,Holm-Bonferroni補正後のp<0.001でnullが拒否され,GPT-4o-miniの3シードチェックでは,標準偏差は0.006に留まった。本稿では,構造化データ(Markdown, HTML, JSON, CSV)に特有の損失のない,決定論的シリアライゼーションの変動を利用したMFA(Multi-Format Agreement)を提案する。 MFAはECEを44-63%削減し、TableBench(AUROC 0.80)の4モデル全てを一般化し、MFA+自己整合アンサンブルはAUROCを0.74から0.82に引き上げる。構造を意識した再校正による二次貢献は、標準的なポストホック法よりもAUROCを+10ポイント向上させる。

関連論文リスト

The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation [1.8345614451086532]
RLHF 対応言語モデルは TruthfulQA 上で応答均質化を示す。 40-79%の質問は、10のi.i.d.サンプルに対して単一のセマンティッククラスタを生成する。
論文参考訳（メタデータ） (2026-03-25T09:35:15Z)
Black-Box Reliability Certification for AI Agents via Self-Consistency Sampling and Conformal Calibration [0.0]
信頼性レベル -- システムとタスクのペアあたりの1つの番号 -- で答えます。自己整合性サンプリングは指数関数的に不確実性を減少させる。共形キャリブレーションは、ターゲットレベルの1/(n+1)以内の正確性を保証する。
論文参考訳（メタデータ） (2026-02-24T21:03:50Z)
ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces [3.151184728006369]
本稿では,聴覚条件下でのマルチモデルオーケストレーションのための測定フレームワークACARを提案する。 ACARは、N=3プローブサンプルから計算した自己整合分散(sigma)を使用して、単一モデル、2モデル、3モデル実行モードでタスクをルーティングする。我々は4つのベンチマークにまたがる1,510のタスクに対してACARを評価し、7,550以上の監査可能な実行を生成した。
論文参考訳（メタデータ） (2026-02-06T23:27:17Z)
CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文参考訳（メタデータ） (2025-12-22T16:34:21Z)
TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文参考訳（メタデータ） (2025-09-25T13:04:29Z)
ObjexMT: Objective Extraction and Metacognitive Calibration for LLM-as-a-Judge under Multi-Turn Jailbreaks [12.396822247035578]
目的抽出とメタ認知のためのベンチマークであるexMTを提案する。マルチターン書き起こしが与えられた場合、モデルは1文ベース目標と自己報告された自信を出力しなければならない。正確性は金の目標と類似性によって評価され、300の校正項目で1度閾値付けされる。
論文参考訳（メタデータ） (2025-08-23T03:32:04Z)
Llamas Know What GPTs Don't Show: Surrogate Models for Confidence Estimation [70.27452774899189]
大規模言語モデル(LLM)は、ユーザを誤解させるのではなく、不正な例に対して低い信頼を示さなければならない。 2023年11月現在、最先端のLLMはこれらの確率へのアクセスを提供していない。言語的信頼度と代理モデル確率を構成する最良の方法は、12データセットすべてに対して最先端の信頼度推定を与える。
論文参考訳（メタデータ） (2023-11-15T11:27:44Z)
Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs [60.58434523646137]
大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
論文参考訳（メタデータ） (2023-05-19T17:49:25Z)
Fast Entropy-Based Methods of Word-Level Confidence Estimation for End-To-End Automatic Speech Recognition [86.21889574126878]
本研究では,フレーム単位のエントロピー値を正規化して集約し,単位単位当たりの信頼度と単語毎の信頼度を求める方法を示す。提案手法をLibriSpeechテストセット上で評価した結果,最大フレーム当たりの信頼度推定値の最大値から,信頼度推定値の最大値の最大値の最大値の最大値の最大値の2倍,4倍の精度を示した。
論文参考訳（メタデータ） (2022-12-16T20:27:40Z)
Sparse Conditional Hidden Markov Model for Weakly Supervised Named Entity Recognition [68.68300358332156]
雑音ラベリング機能を評価するために,スパース条件付き隠れマルコフモデル(Sparse-CHMM)を提案する。 Sparse-CHMMは、3段階のトレーニングパイプラインで教師なし学習によって最適化される。 5つの包括的なデータセットで平均F1スコアが3.01向上する。
論文参考訳（メタデータ） (2022-05-27T20:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。