論文の概要: Don't Pass$\mathtt{@}k$: A Bayesian Framework for Large Language Model Evaluation

• arxiv url: http://arxiv.org/abs/2510.04265v1
• Date: Sun, 05 Oct 2025 16:14:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.548234
• Title: Don't Pass$\mathtt{@}k$: A Bayesian Framework for Large Language Model Evaluation
• Title（参考訳）: Don't Pass$\mathtt{@}k$: 大規模言語モデル評価のためのベイズ的フレームワーク
• Authors: Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary,
• Abstract要約: Pass$@k$ は LLM の推論のパフォーマンスを報告するのに広く使われているが、不安定で誤解を招くようなランキングを得ることが多い。 本稿では、Pass$@k$をモデルの基本成功確率と信頼区間の後方推定に置き換える原理的ベイズ評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.082208996639461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pass$@k$ is widely used to report performance for LLM reasoning, but it often yields unstable, misleading rankings, especially when the number of trials (samples) is limited and compute is constrained. We present a principled Bayesian evaluation framework that replaces Pass$@k$ and average accuracy over $N$ trials (avg$@N$) with posterior estimates of a model's underlying success probability and credible intervals, yielding stable rankings and a transparent decision rule for differences. Evaluation outcomes are modeled as categorical (not just 0/1) with a Dirichlet prior, giving closed-form expressions for the posterior mean and uncertainty of any weighted rubric and enabling the use of prior evidence when appropriate. Theoretically, under a uniform prior, the Bayesian posterior mean is order-equivalent to average accuracy (Pass$@1$), explaining its empirical robustness while adding principled uncertainty. Empirically, in simulations with known ground-truth success rates and on AIME'24/'25, HMMT'25, and BrUMO'25, the Bayesian/avg procedure achieves faster convergence and greater rank stability than Pass$@k$ and recent variants, enabling reliable comparisons at far smaller sample counts. The framework clarifies when observed gaps are statistically meaningful (non-overlapping credible intervals) versus noise, and it naturally extends to graded, rubric-based evaluations. Together, these results recommend replacing Pass$@k$ for LLM evaluation and ranking with a posterior-based, compute-efficient protocol that unifies binary and non-binary evaluation while making uncertainty explicit. Code is available at https://mohsenhariri.github.io/bayes-kit
• Abstract（参考訳）: Pass$@k$はLLM推論のパフォーマンスを報告するために広く使われているが、特にトライアルの数(サンプル)が限られ、計算が制限されている場合、不安定で誤解を招くことが多い。 本稿では,Pass$@k$と平均精度を$N$トライアル(avg$@N$)に置き換えたベイズ評価フレームワークを提案する。 評価結果は(0/1ではなく)ディリクレ前のカテゴリーとしてモデル化され、後部の平均に対する閉形式表現と重み付けされたルーリックの不確実性を与え、適切であれば事前証拠の使用を可能にする。 理論的には、一様の事前の下では、ベイズ平均は平均精度に等しい(Pass$@1$)。 AIME'24/'25、HMMT'25、BrUMO'25のシミュレーションでは、ベイジアン/アヴグ法はパス$$k$や最近の変種よりも高速な収束と階数安定性を実現し、はるかに小さなサンプル数で信頼性の高い比較を可能にする。 このフレームワークは、観測されたギャップが統計的に有意な(重複しない信頼区間)かノイズであるかを明確にし、自然に格付けされたルーリックに基づく評価にまで拡張する。 これらの結果は、LSM評価のためのPass$k$と、不確実性を明示しながらバイナリと非バイナリの評価を統一する後方ベースの計算効率のプロトコルに置き換えることを推奨している。 コードはhttps://mohsenhariri.github.io/bayes-kitで入手できる。

関連論文リスト

• Active Bipartite Ranking with Smooth Posterior Distributions [1.9838140219494644]
  双部格付けは、多くのアプリケーションにかかわる統計的学習問題であり、受動的文脈において広く研究されている。 本研究では,推定ランキングルールのROC曲線と$sup$ノルムの最適値との距離を最小化することを目的とした,スムーズランクと呼ばれる新しいアルゴリズムを提案する。 本研究では,スムーズランクのサンプリング時間に依存する問題と,任意のPAC$(,)$アルゴリズムのサンプリング時間に依存する問題を確立する。
  論文  参考訳（メタデータ） (2026-02-27T18:32:08Z)
• Almost Asymptotically Optimal Active Clustering Through Pairwise Observations [59.20614082241528]
  そこで本研究では, ノイズと能動的に収集された応答を用いて, M$アイテムを未知数の$K$個別グループにクラスタリングするための新しい分析フレームワークを提案する。 クラスタリングの精度に対する望ましい信頼性を達成するのに必要なクエリ数の基本的下位境界を確立する。 我々は、一般化された同値比統計の計算可能な変種を開発し、その下限に対する性能ギャップを正確に推定できることを実証的に示す。
  論文  参考訳（メタデータ） (2026-02-05T14:16:47Z)
• Evaluating LLMs When They Do Not Know the Answer: Statistical Evaluation of Mathematical Reasoning via Comparative Signals [18.612081365101464]
  我々は,標準ラベル付き結果と,モデルが補助的推論連鎖を判断することで得られるペアワイズ比較信号とを組み合わせたフレームワークを開発する。 シミュレーション全体では, モデル出力ノイズの増加に伴い, 評価精度が大幅に向上し, ゲインが増大する。 GPQA Diamond、AIME 2025、GSM8Kの実験では、より正確な性能推定とより信頼性の高いモデルランキングが示されている。
  論文  参考訳（メタデータ） (2026-02-03T03:40:01Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• In-Context Parametric Inference: Point or Distribution Estimators? [66.22308335324239]
  償却点推定器は一般に後部推論より優れているが、後者は低次元問題では競争力がある。 実験の結果, 償却点推定器は一般に後部推定より優れているが, 後者は低次元問題では競争力があることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T10:00:24Z)
• Semiparametric Bayesian Difference-in-Differences [2.458652618559425]
  差分差分法 (DiD) 研究設計において, 被治療者に対する平均治療効果に対する半パラメトリックベイズ推定について検討した。 頻繁な妥当性を持つ2つの新しいベイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-12-05T20:41:36Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• Efficient and Sharp Off-Policy Evaluation in Robust Markov Decision Processes [44.974100402600165]
  意思決定プロセス(MDP)に対する最良パラメトリックかつ最悪の摂動の評価について検討する。 我々は、元のMDPからの遷移観測を用いて、それらが同一または異なるポリシーの下で生成されるかのどちらかを判断する。 我々の推定器はウォルドの信頼区間を用いた統計的推測も行う。
  論文  参考訳（メタデータ） (2024-03-29T18:11:49Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Double Robust Bayesian Inference on Average Treatment Effects [2.458652618559425]
  不整合下での平均処理効果(ATE)に対する二重頑健なベイズ推定法を提案する。 新しいベイズ的アプローチでは、まず条件付き平均関数の事前分布を調整し、得られた ATE の後方分布を補正する。
  論文  参考訳（メタデータ） (2022-11-29T15:32:25Z)
• Contrastive Neural Ratio Estimation for Simulation-based Inference [15.354874711988662]
  Likelihood-to-evidence ratio Estimation は通常、バイナリ (NRE-A) またはマルチクラス (NRE-B) の分類タスクとしてキャストされる。 バイナリ分類フレームワークとは対照的に、現在のマルチクラスバージョンの定式化は本質的で未知のバイアス項を持つ。 我々は,NRE-Bに固有のバイアスを最適に含まないマルチクラスフレームワークを提案し,実践者が依存する診断を行う立場に置かれる。
  論文  参考訳（メタデータ） (2022-10-11T00:12:51Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。