論文の概要: Efficient Best-of-N policy evaluation for inference-time alignment

• arxiv url: http://arxiv.org/abs/2610.09250v1
• Date: Wed, 07 Oct 2026 00:26:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.653168
• Title: Efficient Best-of-N policy evaluation for inference-time alignment
• Title（参考訳）: 推論時間アライメントのための効率的なBest-of-Nポリシー評価
• Abstract要約: ベスト・オブ・N (Best-of-N) は、参照モデルからNサンプルの最も高いスコア付け応答を選択する方法である。 標準的なオフポリチック推定器は、利用できない応答確率に依存する密度比を必要とする。 これらの可能性にアクセスせずにBoNポリシーを評価・選択するためのサンプルのみのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 48.185669757578516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Best-of-N (BoN) is a common inference-time alignment method that selects the highest-scoring response among N samples from a reference model. Evaluating BoN policies from logged data is challenging under sample-only access because standard off-policy estimators require density ratios that depend on unavailable response likelihoods. In this paper, we propose a sample-only framework for evaluating and selecting BoN policies without access to these likelihoods. We show that the order-statistic structure of BoN allows the required density ratios to be expressed through score-rank probabilities that are estimable from samples alone. We then develop a doubly robust estimator of the BoN policy value (BoN-DR) that efficiently reuses a shared auxiliary sample pool across candidate budgets. We establish valid asymptotic inference even under reward estimator misspecification and prove the efficiency of our BoN-DR estimator. Since larger budgets can amplify errors in the score function and lead to reward overoptimization, we derive two selection rules: (i) maximizing the estimated policy value and (ii) maximizing a lower confidence bound on the improvement over the reference policy, which accounts for estimation uncertainty and provides a no-harm guarantee. Across synthetic experiments and GSM8K with multiple reference and reward models, our framework accurately estimates BoN policy values and selects effective sampling budgets.
• Abstract（参考訳）: ベスト・オブ・N(Best-of-N, BoN)は、参照モデルからNサンプル間の最高スコア応答を選択する一般的な推論時アライメント手法である。 標準のオフポリティクス推定器は、利用できない応答可能性に依存する密度比を必要とするため、サンプルのみのアクセスでは、ログデータからBoNポリシーを評価することは困難である。 本稿では,これらの可能性にアクセスせずにBoNポリシーを評価・選択するためのサンプルのみのフレームワークを提案する。 ここでは,BoNの順序統計構造により,サンプルのみから推定可能なスコアランク確率を用いて,要求密度比を表現可能であることを示す。 次に、BoNポリシー値(BoN-DR)の二重頑健な推定器を開発し、候補予算間で共有サンプルプールを効率的に再利用する。 報奨推定器の誤用下においても有効な漸近推論が確立され,BoN-DR推定器の有効性が証明された。 より大きな予算はスコア関数のエラーを増幅し、報酬の過度な最適化につながるので、2つの選択ルールが導出されます。 一 推定政策額の最大化及び 二 評価の不確実性を考慮し、無害の保証を提供する基準方針よりも改善に縛られる低い信頼度を最大化すること。 複数の参照モデルと報酬モデルを備えた総合的な実験とGSM8Kで、BoNのポリシー値を正確に推定し、効果的なサンプリング予算を選択する。

関連論文リスト

• Best-of-N through the Smoothing Lens: KL Divergence and Regret Analysis [23.76662251965668]
  Best-of-N$ (BoN) は生成モデルの推論時間アライメントの方法である。 我々はSoft Best-of-N(SBoN)と呼ばれるスムーズなバージョンを通してBoNを研究する。 理論的および実証的な結果から,SBoNのスムース化は報酬過小評価を緩和することが明らかとなった。
  論文  参考訳（メタデータ） (2025-07-08T11:59:48Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Evaluation of Best-of-N Sampling Strategies for Language Model Alignment [6.4706370001155955]
  報奨モデルを用いたBest-of-N(BoN)サンプリングは、復号時の人間の嗜好とLLM(Large Language Models)を整合させる効果的な戦略であることが示されている。 従来の研究は、目的に対して正規化したBoNサンプリングである正規化BoNサンプリング(RBoN)を提案し、BoNサンプリングよりも優れていることを示した。 本稿では、最悪のRBoNプロキシ報酬に対する理論的に保証されたアプローチであるRBoNサンプリング(SRBoN)と呼ばれるRBoNフレームワークの拡張を提案する。
  論文  参考訳（メタデータ） (2025-02-18T09:18:02Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Kernel Conditional Moment Constraints for Confounding Robust Inference [22.816690686310714]
  本研究では,非保守的共同設立者を対象に,オフラインの文脈的盗賊の政策評価について検討した。 政策値のシャープな下限を提供する一般推定器を提案する。
  論文  参考訳（メタデータ） (2023-02-26T16:44:13Z)
• Improved Policy Evaluation for Randomized Trials of Algorithmic Resource Allocation [54.72195809248172]
  提案する新しい概念を応用した新しい推定器を提案する。 我々は,このような推定器が,サンプル手段に基づく一般的な推定器よりも精度が高いことを理論的に証明した。
  論文  参考訳（メタデータ） (2023-02-06T05:17:22Z)
• SPEED: Experimental Design for Policy Evaluation in Linear Heteroscedastic Bandits [13.02672341061555]
  線形帯域における政策評価のための最適データ収集の問題について検討する。 まず,重み付き最小二乗推定値に対して,重み付き線形帯域設定で最適設計を定式化する。 次に、この定式化を使用して、データ収集中にアクション毎のサンプルの最適な割り当てを導出します。
  論文  参考訳（メタデータ） (2023-01-29T04:33:13Z)
• Conformal Off-Policy Prediction in Contextual Bandits [54.67508891852636]
  コンフォーマルなオフ政治予測は、新しい目標ポリシーの下で、結果に対する信頼できる予測間隔を出力することができる。 理論上の有限サンプル保証は、標準的な文脈的バンディットの設定を超える追加の仮定をすることなく提供する。
  論文  参考訳（メタデータ） (2022-06-09T10:39:33Z)
• Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
  我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。 複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
  論文  参考訳（メタデータ） (2020-10-21T13:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。