論文の概要: Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
- arxiv url: http://arxiv.org/abs/2607.25257v1
- Date: Tue, 28 Jul 2026 03:56:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.701858
- Title: Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
- Title（参考訳）: Laplace-PSN-IRT:LLMベンチマークのニューラルアイテム応答理論モデルの不確かさの定量化
- Abstract要約: ラプラスPSN-IRT(Laplace-PSN-IRT)というポストホック近似を導入し,ベイジアン後部推論によるトレーニングPSN-IRTモデルを拡張した。
標準LLMベンチマーク・リーダーボードにおける12モデル間のペアワイズ比較は、点推定ランクが異なるにもかかわらず統計的に区別できないことを示す。
さらに,1つの参照能力で評価されるため,多くのベンチマーク項目に対して,点推定フィッシャー情報がほぼゼロとなることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Item Response Theory (IRT) has recently been proposed as a framework for evaluating large language model (LLM) benchmarks by separating a model's latent ability from the properties of individual benchmark items. Existing neural IRT approaches, including PSN-IRT, estimate these quantities using point estimates, limiting uncertainty quantification and downstream statistical inference. We introduce Laplace-PSN-IRT, a post-hoc last-layer Laplace approximation that augments a trained PSN-IRT model with approximate Bayesian posterior inference, recovering calibrated uncertainty over model ability and item difficulty without retraining. The resulting posterior enables credible intervals, probabilistic comparisons between models, and propagation of parameter uncertainty into Fisher-information-based item selection. We show that most pairwise comparisons among 12 models on a standard LLM benchmark leaderboard are not statistically distinguishable despite differing point-estimate ranks. We further show that point-estimate Fisher information can become nearly zero for many benchmark items because it is evaluated at a single reference ability, whereas posterior-expected Fisher information remains substantially more stable across the ability range. Finally, posterior-expected Fisher information more accurately recovers full-benchmark ability rankings from small benchmark subsets in most experimental settings while matching point-estimate performance for the smallest subsets. We validate the calibration of the approximate posterior using held-out predictive coverage and find that modeling item difficulty as random while treating item discrimination as fixed produces well-calibrated uncertainty in this architecture.
- Abstract（参考訳）: 項目応答理論(IRT)は,大規模言語モデル(LLM)ベンチマークを評価するフレームワークとして提案されている。
PSN-IRTを含む既存のニューラルネットワークIRTアプローチは、これらの量を点推定、不確実な定量化の制限、下流の統計的推測を用いて推定する。
ラプラス-PSN-IRT (Laplace-PSN-IRT) は,PSN-IRTモデルを近似ベイズ的後部推論で拡張し,モデル能力に対する校正の不確かさを回復する。
得られた後部は、信頼性のある間隔、モデル間の確率的比較、およびパラメータの不確実性のフィッシャー情報に基づく項目選択への伝播を可能にする。
標準LLMベンチマーク・リーダーボードにおける12モデル間のペアワイズ比較は、点推定ランクが異なるにもかかわらず統計的に区別できないことを示す。
さらに、単一参照能力で評価されるため、多くのベンチマーク項目に対して、ポイント推定フィッシャー情報がほぼゼロとなることを示した。
最後に、後方予測されたフィッシャー情報は、ほとんどの実験環境で小さなベンチマークサブセットから、最小サブセットのポイント推定性能に適合しながら、より正確にフルベンチマーク能力ランキングを復元する。
我々は,保持範囲の予測範囲を用いて,近似後部の校正を検証し,商品識別を固定として扱いながら,モデリング項目の難易度をランダムに評価し,このアーキテクチャにおいて良好な校正の不確かさを生じさせる。
関連論文リスト
- Latent Performance Profiling of Large Language Models [47.009623327601226]
隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。
静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。
類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
論文 参考訳（メタデータ） (2026-05-28T14:41:26Z) - Minimum Distance Summaries for Robust Neural Posterior Estimation [7.4716500353679685]
シミュレーションベース推論(SBI)は、前シミュレーションペア上で神経後部推定器(NPE)をトレーニングすることで、償却ベイズ推論を可能にする。
プリミティブ・ディスタンス・サマリー(minimum-distance summaries)は,プレトレーニング済みのNPEとは独立に,クエリされたテスト時間サマリーを適応するプラグイン・ロバストなNPE手法である。
論文 参考訳（メタデータ） (2026-02-09T20:06:15Z) - Evaluating LLMs When They Do Not Know the Answer: Statistical Evaluation of Mathematical Reasoning via Comparative Signals [18.612081365101464]
我々は,標準ラベル付き結果と,モデルが補助的推論連鎖を判断することで得られるペアワイズ比較信号とを組み合わせたフレームワークを開発する。
シミュレーション全体では, モデル出力ノイズの増加に伴い, 評価精度が大幅に向上し, ゲインが増大する。
GPQA Diamond、AIME 2025、GSM8Kの実験では、より正確な性能推定とより信頼性の高いモデルランキングが示されている。
論文 参考訳（メタデータ） (2026-02-03T03:40:01Z) - Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks [1.4671424999873808]
不確実性は安全性に敏感なアプリケーションでは重要であるが、予測性能に悪影響を及ぼすため、市販のニューラルネットワークから排除されることが多い。
本稿では,従来の入力と凍結モデルの両方に補助モデルを適用することにより,回帰タスクにおけるポストホック不確実性推定のための理論的基盤となるフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-01T09:13:27Z) - Precise Model Benchmarking with Only a Few Observations [6.092112060364272]
本稿では,各サブグループの直接推定と回帰推定を個別にバランスする経験的ベイズ推定器を提案する。
EBは、直接的および回帰的アプローチと比較して、LCM性能のより正確な推定を一貫して提供する。
論文 参考訳（メタデータ） (2024-10-07T17:26:31Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Consensus-Adaptive RANSAC [104.87576373187426]
本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。
注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
論文 参考訳（メタデータ） (2023-07-26T08:25:46Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - SUMO: Unbiased Estimation of Log Marginal Probability for Latent
Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。
推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文 参考訳（メタデータ） (2020-04-01T11:49:30Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。