論文の概要: Whether or Where? Tail Calibration Signals Finite-Budget Reward Hacking in Best-of-N Selection

• arxiv url: http://arxiv.org/abs/2610.34375v1
• Date: Sun, 25 Oct 2026 15:33:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.585756
• Title: Whether or Where? Tail Calibration Signals Finite-Budget Reward Hacking in Best-of-N Selection
• Title（参考訳）: 悪質なカバリケーションは、Nのベスト・オブ・N選びにおけるファイナント・バッジ・リワードのハッキングを示唆する
• Abstract要約: Best-of-N (BoN) 推論は、最も高いプロキシ報酬を持つ候補を返す。 正確なBoN値が条件付き真報酬のベータ重み付き積分であることを示す。
• 参考スコア（独自算出の注目度）: 22.267885949847024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Best-of-N (BoN) inference returns the candidate with the highest proxy reward, so a larger $N$ tests the proxy's extreme tail more than its average ranking quality. We show that the exact BoN value is a Beta-weighted integral of conditional true reward over within-prompt score quantiles. It follows that BoN depends on scores only through their ranks. It also follows that BoN can decline only if the calibration curve in the tail turns downward, and the budget where the decline appears depends on where that turn lies. Under a bounded additive model, the error tail sets the limit: Gaussian errors keep improving, Laplace errors reach a plateau, and heavy-tailed errors return to the prior mean. When error variance is largest at low true reward, even Gaussian noise can push BoN below random selection. Synthetic phase maps agree with this taxonomy. On real candidate pools spanning several verifiable domains, base policies, and learned reward models, tail failures are rare and all occur in code generation. A held-out tail calibration statistic reliably predicts where a cross-fitted budget cap helps. It does about as well as rank accuracy, and the cap is competitive with a Soft-BoN baseline. Tail calibration therefore does not replace ranking metrics. It is an audit that is unchanged by any monotone rescaling of the reward scores and shows which budgets are at risk.
• Abstract（参考訳）: Best-of-N(BoN)推論は、最も高いプロキシ報酬で候補を返します。 正確なBoN値が条件付き真報酬のベータ重み付き積分であることを示す。 ボナパルトは成績にのみ依存している。 また、BoNは尾部のキャリブレーション曲線が下向きに変わった場合にのみ減少し、下降する予算は、その曲がり角に依存する。 境界付き加法モデルの下では、エラーテールは限界を設定する: ガウスエラーは改善され続け、ラプラスエラーは高原に達し、重み付きエラーは前の平均に戻る。 誤差分散が低真の報酬で最大である場合、ガウスノイズでさえBoNをランダム選択以下にすることができる。 合成位相写像はこの分類に一致する。 いくつかの検証可能なドメイン、基本ポリシー、学習された報酬モデルにまたがる実際の候補プールでは、テール障害はまれであり、すべてコード生成で発生します。 保持されたテールキャリブレーション統計は、クロスフィットした予算上限がどこに役立っているかを確実に予測する。 精度も高いし、Soft-BoNベースラインと競合する。 したがって、テイルキャリブレーションはランキングの指標に取って代わらない。 報酬スコアのモノトーン再スケーリングによって変化しない監査であり、どの予算が危険であるかを示す。

関連論文リスト

• StochLOB: Heavy-Tailed Score Matching for Robust Limit Order Book Trend Prediction [3.62645515172823]
  本研究では, 事前拡散汚職法を規定する学習専用スコアマッチングフレームワークについて検討し, 展開した予測器の定式化に留意する。 ブラウン派のみのガウスの汚職に代えて、非ガウスのSDEにインスパイアされた2つの代替法を用いる。 提案された変種は、未破損のBTCと試験地平線で競合し続け、いくつかの実現された尾翼応力診断を改善した。
  論文  参考訳（メタデータ） (2026-10-15T01:33:30Z)
• Tail Competition Explains Scaling in Best-of-N Sampling for Verifiable Problems [6.937903291588555]
  ベスト・オブ・Nサンプリング(Best-of-N sample)は、大規模言語モデルの単純な推論時間スケーリング戦略である。 ベスト・オブ・N(Best-of-N)は,正解と誤反応の極端報酬テールの競合として検討した。
  論文  参考訳（メタデータ） (2026-10-14T01:09:16Z)
• Mean Accuracy Is the Wrong Estimand for a Release Decision [6.697434198956543]
  平均精度に基づく出荷モデルは、デプロイメント失敗予算の10%に対して、その時間の48.0%を侵害していることを示す。 我々は,厳密な有限サンプル二項境界を用いてリランテール故障率を直接証明する評価フレームワークであるtextbfrecipeカードを導入する。
  論文  参考訳（メタデータ） (2026-10-12T14:08:15Z)
• When Does Low-Bit Quantization Preserve the Decisions of Vector Search? [13.71460633144793]
  低ビット量子化は、いくつかのベクトル表現において高いリコールを達成することができ、他のベクトル表現では急激に失敗する。 本稿では,ランク付けアルゴリズムとグラフ解析アルゴリズムによる比較値の量化ベクトル探索について検討する。 学習された古典的、合成的な埋め込み全体において、標準化された正確なマージンは、ホールドアウトランキングとプルーニングフリップレートを、グローバルなランク相関よりもかなり良く予測する。
  論文  参考訳（メタデータ） (2026-09-09T08:06:50Z)
• Parameter-Free Heavy-Tailed Bandits [36.983245230853434]
  固定テール指数のモーメント境界$u$に対する適応について研究する。 我々は、全てのアルゴリズムが$u$を知らないこと、あるいはその上限を知らないことは、その分布依存と分布に依存しない後悔の保証の間に急激なトレードオフを従わなければならないことを証明している。
  論文  参考訳（メタデータ） (2026-07-31T14:27:28Z)
• Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
  本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。 鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。 我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
  論文  参考訳（メタデータ） (2026-05-21T08:57:38Z)
• Best-of-Majority: Minimax-Optimal Strategy for Pass@$k$ Inference Scaling [54.50689440956967]
  LLM推論は、しばしばプロンプトの一連の候補を生成し、多数決やBest-of-N (BoN)のような戦略を介して1つを選択する。 我々は,最上位の$k$報酬を選択する前に,上位の$N$サンプルにおいて,高い周波数の応答を候補に限定するピボットステップを備えたBest-of-Majority (BoM)を提案する。 多数決とBoNとは異なり、BoMは重要な利点がある:多数決とBoNとは異なり、そのパフォーマンスはN$を上昇しても低下しない。
  論文  参考訳（メタデータ） (2025-10-03T17:35:45Z)
• Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。 認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。 この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T13:56:44Z)
• Decision from Suboptimal Classifiers: Excess Risk Pre- and Post-Calibration [52.70324949884702]
  バッチ二分決定における近似的後続確率を用いた余剰リスクの定量化を行う。 我々は、再校正のみが後悔のほとんどに対処する体制と、後悔が集団的損失に支配される体制を識別する。 NLP実験では、これらの量によって、より高度なポストトレーニングの期待値が運用コストに値するかどうかが分かる。
  論文  参考訳（メタデータ） (2025-03-23T10:52:36Z)
• The price of unfairness in linear bandits with biased feedback [62.25313751895011]
  線形帯域フィードバックによる逐次意思決定の問題点について検討する。 その結果,不偏フィードバック下で得られたdT 1/2 log(T) の後悔率よりも最悪の後悔率が高いことがわかった。 興味深いことに、ギャップ依存率によって、問題はバイアスのないものほど難しくない非自明なインスタンスの存在が明らかになる。
  論文  参考訳（メタデータ） (2022-03-18T08:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。