論文の概要: Few Trials, Many Metrics: Beta Mixtures for Low-Budget AI Evaluation

• arxiv url: http://arxiv.org/abs/2611.00474v1
• Date: Sat, 31 Oct 2026 00:00:53 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:43:02.948085
• Title: Few Trials, Many Metrics: Beta Mixtures for Low-Budget AI Evaluation
• Title（参考訳）: 試行錯誤と多くのメトリクス:低予算AI評価のためのベータミックス
• Abstract要約: 最近の研究によると、ベータディストリビューションによるインスタンスレベルの成功確率のモデリングは、直接推定よりもはるかに少ないサンプルからPass@$k$を回収する。 このフレームワークは幅広い評価対象をサポートすることを示す。
• 参考スコア（独自算出の注目度）: 12.934858018111827
• License:
• Abstract: Evaluating a stochastic AI system often requires many repeated samples per instance, especially for metrics defined over long horizons. Recent work has shown that modeling instance-level success probabilities with a Beta distribution recovers Pass@$k$ from far fewer samples than direct estimation. We show that this framework supports a broader range of evaluation targets. We fit a mixture of Beta distributions by marginal maximum likelihood, with the number of components chosen by BIC. From that one fit, we compute Pass$^k$ and AUC@$k$ at any horizon in closed form. We also derive delta-method confidence intervals for these metrics and for Pass@$k$, which require no additional model calls. Treating configurations rather than tasks as instances extends the same model to sensitivity analysis. For repeated success metrics, we find that mixture priors yield more accurate estimators than naive estimation across competition mathematics and graduate-level science benchmarks when extrapolating beyond the observed number of trials, and the resulting intervals cover the full-data reference. When prompts are treated as instances, it estimates the distribution of prompt sensitivity more accurately than a comparable item-response baseline without external covariates. Direct estimators remain preferable once trials reach the target horizon.
• Abstract（参考訳）: 確率的AIシステムを評価するには、多くの場合、長い地平線上で定義されたメトリクスに対して、インスタンス毎に多くの繰り返しサンプルを必要とする。 最近の研究によると、ベータディストリビューションによるインスタンスレベルの成功確率のモデリングは、直接推定よりもはるかに少ないサンプルからPass@$k$を回収する。 このフレームワークは幅広い評価対象をサポートすることを示す。 我々は,BIC が選択したコンポーネント数とともに,ベータ分布を極端に最大値で混合する。 そのことから、任意の地平線でPass$^k$とAUC@$k$を閉じた形で計算する。 また、これらのメトリクスと、追加のモデルコールを必要としないPass@$k$に対して、デルタメソッドの信頼区間を導出します。 タスクをインスタンスとしてではなく構成を扱う場合、同じモデルを感度分析に拡張する。 連続した成功指標について、混合先行推定は、観測された試行回数を超えて外挿する場合に、競合数学と大学院レベルの科学ベンチマークを比べて、より正確な推定値が得られること、結果の間隔が全データ参照をカバーしていることが分かる。 プロンプトをインスタンスとして扱うと、外部共変量を持たない同等のアイテム応答ベースラインよりも、より正確にプロンプト感度の分布を推定する。 試行が目標の地平線に達すると、直接推定器は好ましいままである。

関連論文リスト

• QuasiMoTTo: Quasi-Monte Carlo Test-Time Scaling [35.00824891749274]
  推論計算のスケーリングは、問題毎に複数の並列試行を生成することで、言語モデル機能を改善するためのコストがかかるが信頼性の高いレバーである。 相関サンプルをi.d.サンプルのドロップイン置換として利用するQuialiMoTToを紹介する。 我々の実証分析は、QuasiMoTToがいかに効率的に計算を性能に変換できるかを理解することに重点を置いている。
  論文  参考訳（メタデータ） (2026-07-01T17:10:08Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Learning Parametric Distributions from Samples and Preferences [19.879505582147807]
  選好に基づくM推定器は、サンプルのみのM推定器よりも分散性が高いことを示す。 我々は,$mathcalO (1/n)$ -- $Theta (1/sqrtn)$よりも大幅に改善された$mathcalO (1/n)$ -- の推定誤差スケーリングを実現する推定器を提案する。
  論文  参考訳（メタデータ） (2025-05-29T15:33:43Z)
• The Polynomial Stein Discrepancy for Assessing Moment Convergence [1.0835264351334324]
  本研究では,サンプルの集合とベイズ推定のための所望の後方分布との差を測定する新しい手法を提案する。 いくつかの例において、このテストは競合他社よりも高いパワーを持ち、計算コストが低いことを示す。
  論文  参考訳（メタデータ） (2024-12-06T15:51:04Z)
• DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting [14.390842560217743]
  本稿では、回帰予測タスクのためのDistPredという新しい手法を提案する。 予測分布と対象分布の差分を測定するための適切なスコアリングルールを、微分可能な離散形式に変換する。 これにより、モデルは単一のフォワードパスで多数のサンプルをサンプリングし、応答変数の潜在的分布を推定することができる。
  論文  参考訳（メタデータ） (2024-06-17T10:33:00Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Detecting Adversarial Data by Probing Multiple Perturbations Using Expected Perturbation Score [62.54911162109439]
  逆方向検出は、自然分布と逆方向分布の差に基づいて、与えられたサンプルが逆方向であるかどうかを判定することを目的としている。 本研究では,様々な摂動後の標本の予測スコアであるEPS(pre expected perturbation score)を提案する。 EPSに基づく最大平均誤差(MMD)を,試験試料と自然試料との差を測定する指標として開発する。
  論文  参考訳（メタデータ） (2023-05-25T13:14:58Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• Tracking disease outbreaks from sparse data with Bayesian inference [55.82986443159948]
  新型コロナウイルス(COVID-19)のパンデミックは、感染発生時の感染率を推定する新たな動機を与える。 標準的な手法は、より細かいスケールで共通する部分的な観測可能性とスパースなデータに対応するのに苦労する。 原理的に部分観測可能なベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-12T20:37:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。