論文の概要: Holdout Best-of-N: Unbiased Evaluation and Its Cost

• arxiv url: http://arxiv.org/abs/2610.08719v1
• Date: Tue, 06 Oct 2026 17:26:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.14746
• Title: Holdout Best-of-N: Unbiased Evaluation and Its Cost
• Title（参考訳）: ベスト・オブ・N:偏見のない評価とそのコスト
• Abstract要約: 本研究では,1候補あたりの独立スコア$K$の固定行列から,新スコア$J$を選択する政策について検討する。 この行列にのみ基づく単一の推定器は、候補者固有のスコア法則の独立かつ安定なすべての収集の下で、予想される判断報酬に対して全くバイアスがかからない。
• 参考スコア（独自算出の注目度）: 0.8874804654735381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reusing the scores that select a Best-of-$N$ winner can overstate its expected reward. We study evaluation from a fixed matrix of $K$ independent scores per candidate for a policy that selects using $J$ fresh scores. A single estimator based only on this matrix is exactly unbiased for expected judge reward under every independent, stable collection of candidate-specific score laws if and only if $J<K$, for every pool size $M\ge N\ge2$. At $J=K-1$, the selector deepens as $K$ grows. For independent Gaussian scores with common variance and fixed $M\ge N\ge2$, the unbiased minimax risk in this regime is of order $σ^2/\sqrt K$, attained by Holdout; allowing bias improves the rate to $σ^2/K$. For two candidates, we derive the minimum-variance unbiased estimator at known variance and the sharp asymptotic unbiased minimax constant $1/(π\sqrt2)$, which Holdout attains without knowing the variance. The cyclic average over subsets and ties can be computed in $O(MK\log M)$ operations. At fixed selector depth, cyclic evaluation of bounded scores has $O(K^{-1})$ risk uniformly in pool size. The impossibility result concerns the fixed matrix: one additional fresh winner score permits unbiased evaluation of the all-$K$ policy.
• Abstract（参考訳）: ベスト・オブ・N$の勝者を選ぶスコアを再利用すれば、期待される報酬を超過することができる。 本研究では,1候補あたりの独立スコア$K$の固定行列から,新スコア$J$を選択する政策について検討する。 この行列にのみ基づく単一の推定器は、全ての独立かつ安定な候補固有スコア法則の集まりにおいて、予想される判断報酬に対して、正確にはバイアスがなく、かつ、全てのプールサイズ$M\ge N\ge2$に対して、$J<K$である。 J=K-1$で、セレクタはK$が成長するにつれて深まる。 共通の分散と固定された$M\ge N\ge2$ を持つ独立ガウスのスコアに対して、この状態における非バイアスのミニマックスリスクは、ホールドアウトによって達成された$σ^2/\sqrt K$ である。 2つの候補に対して、既知分散における最小分散非バイアス推定器と、その分散を知らずに得られる急激な漸近的非バイアス最小値定数1/(π\sqrt2)$を導出する。 部分集合と結合上の巡回平均は$O(MK\log M)$演算で計算できる。 固定セレクタ深さでは、有界スコアの循環評価は、プールサイズが均一に$O(K^{-1})$のリスクを持つ。 1つの新たな勝者スコアは、全$K$ポリシーの偏りのない評価を許可する。

関連論文リスト

• Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise [55.29259818039367]
  オンライン凸最適化を1ラウンドに1つの偏りのない下位段階と、未知の有限条件の雑音モーメントであるp$th, $1ple2$で検討する。 長さ$n$の固定区間$I$に対して、学習者は最適な全水平静的レートを含む1+log(T/n)$を達成する。
  論文  参考訳（メタデータ） (2026-09-30T21:03:03Z)
• Simple-regret rates and minimax optimality of fixed-prior expected improvement in Matérn and squared-exponential RKHSs [0.0]
  非空コンパクト集合 $mathcal X の部分集合 Rd$ 上で、決定論的目的関数 $f$ を最小化するための期待された改善 (EI) ポリシーについて検討する。
  論文  参考訳（メタデータ） (2026-07-31T10:18:54Z)
• Computational Hardness of Private Coreset [84.99100741615423]
  与えられた点の入力集合に対して、コアセットは任意の候補解に対する$k$-meansの目的が乗法的な$(, 1/n(1))$ factor(およびいくつかの加法因子)まで保存されるような点の別の集合である。 no-time $(, 1/n(1))$-DPアルゴリズムは、ある定数$> 0$(およびいくつかの定数加法因子)に対して$ell_infty$-metricの$k$-meansのコアセットを計算することができることを示す。 $k$-means in the
  論文  参考訳（メタデータ） (2026-02-19T15:58:49Z)
• One-Sided Matrix Completion from Ultra-Sparse Samples [18.28432289831719]
  観測周波数で第2モーメントの各非ゼロエントリを正規化する非バイアス推定器を提案する。 推定器は任意の$p$に対して偏りがなく、分散が低いことを示す。 合成データと実世界のデータの両方の実験は、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2026-01-18T01:33:48Z)
• Near Sample-Optimal Reduction-based Policy Learning for Average Reward MDP [58.13930707612128]
  この研究は、平均報酬マルコフ決定過程(AMDP)における$varepsilon$-Optimal Policyを得る際のサンプルの複雑さを考察する。 我々は、状態-作用対当たりの$widetilde O(H varepsilon-3 ln frac1delta)$サンプルを証明し、$H := sp(h*)$は任意の最適ポリシーのバイアスのスパンであり、$varepsilon$は精度、$delta$は失敗確率である。
  論文  参考訳（メタデータ） (2022-12-01T15:57:58Z)
• List-Decodable Sparse Mean Estimation [7.594050968868919]
  最近の研究関心の高まりは、$alpha in (0, frac12]$というリストデコザブルな設定に焦点が当てられ、目標平均を少なくとも1つ近似した有限個の見積もりを出力することが目的である。 本稿では,基礎となるターゲットが平均分布$k$,最初のコントリビューションが最初のサンプル$Obig(mathrmpoly(k, log dbig)$,すなわち次元の多元対数であると考えている。
  論文  参考訳（メタデータ） (2022-05-28T05:13:45Z)
• CountSketches, Feature Hashing and the Median of Three [18.85876632959721]
  古典的なCountSketch法は、(高次元)ユークリッドベクトル $v$ を次元 $(2t-1) s$ に変換するスパースでランダムな射影である。 我々の主な貢献は、Count-Sketchの新しい分析であり、$t > 1$ のとき、$O(min|v|2/s2,|v|2/s2)$ への分散の改善を示す。 この結果は、基本的にCountSketchと同一であるが中央値を使用しないFeature Hashing法が可能であることを示唆している。
  論文  参考訳（メタデータ） (2021-02-03T18:45:21Z)
• Sparse sketches with small inversion bias [79.77110958547695]
  逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。 本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。 スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
  論文  参考訳（メタデータ） (2020-11-21T01:33:15Z)
• List-Decodable Mean Estimation in Nearly-PCA Time [50.79691056481693]
  高次元におけるリストデコタブル平均推定の基本的な課題について検討する。 我々のアルゴリズムは、すべての$k = O(sqrtd) cup Omega(d)$に対して$widetildeO(ndk)$で実行されます。 我々のアルゴリズムの変種は、すべての$k$に対してランタイム$widetildeO(ndk)$を持ち、リカバリ保証の$O(sqrtlog k)$ Factorを犠牲にしている。
  論文  参考訳（メタデータ） (2020-11-19T17:21:37Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。