Fugu-MT 論文翻訳(概要): Tail Competition Explains Scaling in Best-of-N Sampling for Verifiable Problems

論文の概要: Tail Competition Explains Scaling in Best-of-N Sampling for Verifiable Problems

arxiv url: http://arxiv.org/abs/2610.19362v1
Date: Wed, 14 Oct 2026 01:09:16 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-15 21:06:15.866776
Title: Tail Competition Explains Scaling in Best-of-N Sampling for Verifiable Problems
Title（参考訳）: 検証可能な問題に対するベスト・オブ・Nサンプリングにおけるタイル・コンペティション
Abstract要約: ベスト・オブ・Nサンプリング(Best-of-N sample)は、大規模言語モデルの単純な推論時間スケーリング戦略である。ベスト・オブ・N(Best-of-N)は,正解と誤反応の極端報酬テールの競合として検討した。
参考スコア（独自算出の注目度）: 6.937903291588555
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Best-of-N sampling is a simple inference-time scaling strategy for large language models, yet its behavior under incomplete reward models remains poorly understood. We study Best-of-N as a competition between the extreme reward tails of correct and incorrect responses. This view shows that success depends not only on the probability of sampling a correct response, but also on whether correct responses dominate incorrect ones in the upper tail. Using extreme value theory, we characterize three asymptotic regimes: correct-tail-dominant, incorrect-tail-dominant, and critical explaining both monotonic gains and reward-hacking-induced degradation. We further derive finite-sample scaling laws for representative reward distributions, showing that, under Gaussian rewards, incorrect responses with sufficiently large variance can dominate selection even when their mean reward is lower. Unlike oracle selection, convergence with an incomplete selector can be polynomial rather than exponential. Finally, we propose a lightweight tail-tension criterion to estimate when additional sampling may become harmful. Experiments on synthetic data and real reward model scores are consistent with the theoretically predicted regimes, scaling laws, and diagnostic behavior, suggesting that tail competition provides a unified lens on Best-of-N sampling for verifiable problems.
Abstract（参考訳）: ベスト・オブ・Nサンプリング(Best-of-N sample)は、大規模言語モデルの単純な推論時間スケーリング戦略である。ベスト・オブ・N(Best-of-N)は,正解と誤反応の極端報酬テールの競合として検討した。この見解は、成功は正しい応答をサンプリングする確率だけでなく、正しい応答が上尾の間違った応答を支配するかどうかにも依存することを示している。極端値理論を用いて, 右尾優位, 右尾優位, 右尾優位の3つの漸近的体制を特徴づけ, 単調な利得と報酬ハックによる劣化の両方を説明する。さらに、代表報酬分布に対する有限サンプルスケーリング法則を導出し、ガウス報酬の下では、十分な大きなばらつきを持つ誤った応答が、平均報酬が低い場合でも選択を支配できることを示した。オラクル選択とは異なり、不完全セレクタとの収束は指数関数ではなく多項式である。最後に, 追加サンプリングが有害になる可能性のあるタイミングを推定するための軽量テールテンション基準を提案する。合成データと実報酬モデルスコアの実験は、理論的に予測された規則、スケーリング法則、診断行動と一致しており、テールコンペティションは、検証可能な問題に対するベストオブNサンプリングに統一レンズを提供することを示唆している。

論文の概要: Tail Competition Explains Scaling in Best-of-N Sampling for Verifiable Problems

関連論文リスト