論文の概要: Latency-Aware Adaptive Best-of-$N$

• arxiv url: http://arxiv.org/abs/2611.07453v1
• Date: Thu, 05 Nov 2026 04:56:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.551406
• Title: Latency-Aware Adaptive Best-of-$N$
• Title（参考訳）: Latency-Aware Adaptive Best-of-N$
• Abstract要約: テストタイム計算は、推論時に追加計算を使用することで、言語モデルの応答を改善する。 オンラインサービスでは、レイテンシもコストがかかる。サーバの負荷とともに成長するので、固定しきい値を使用するメソッドは、生成が高速で、処理が遅いときに計算に費やす時間が少なくなる。 本稿では,初期バッチを描画し,得られた報酬とバッチのレイテンシを用いて第2バッチを描画するか否かを決定する2段階適応アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 6.1706250621144285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time compute (TTC) improves language model responses by spending additional computation at inference time, and the right amount of compute depends on the prompt. Adaptive TTC methods allocate compute based on signals of response quality such as observed rewards, often by stopping once the signal exceeds a fixed threshold, and generally measure cost by the number of generations or tokens. But in online serving, latency is also a cost: it grows with server load, so a method using a fixed threshold spends too little compute when generation is fast and too much when it is slow. For Best-of-$N$ sampling, a widely used TTC method, we propose a two-stage adaptive algorithm that draws an initial batch, then uses the observed rewards and the batch's latency to decide whether to draw a second batch and at what size by comparing expected improvement against predicted cost: it draws one when the first batch's best reward is below a threshold that decreases with the first batch's latency, without explicitly measuring server load. We map each reward to its value under the cumulative distribution function (CDF) of the prompt's reward distribution, so the same tradeoff parameters can be reused across tasks; a regression fitted offline on other prompts predicts a distribution for the CDF value of the first batch's best reward, giving the expected improvement in closed form. We evaluate the method by simulation on a preference-based alignment benchmark, measuring generations-equivalent cost: generations plus latency, converted to generations. The method reaches Best-of-$N$'s reward at lower generations-equivalent cost, and conditioning on the measured first-batch latency saves at least as much of that cost as fixed-threshold (latency-unaware) baselines, and more when latency is highly variable, when it grows with batch size, and when the second batch's latency is highly predictable from the first's.
• Abstract（参考訳）: テスト時間計算(TTC)は、推論時に追加計算を使用することで言語モデル応答を改善し、正しい計算量はプロンプトに依存する。 適応TTC法は、観測された報酬のような応答品質の信号に基づいて計算を割り当て、しばしば信号が一定の閾値を超えると停止し、一般的に世代数やトークン数によってコストを測定する。 しかし、オンラインサービスでは、レイテンシもコストである:サーバの負荷とともに成長するので、固定しきい値を使用するメソッドは、生成が高速で、処理が遅いときに計算に費やす時間が少なくなる。 広範に使われているTTC法であるBest-of-N$サンプリングでは、初期バッチを描画し、観測された報酬とバッチのレイテンシを用いて、予測コストに対して期待される改善を比較することにより、第2バッチを描画するか、どのサイズにするかを決定する。 我々は,各報酬をプロンプトの報酬分布の累積分布関数(CDF)の下でその値にマッピングすることにより,同じトレードオフパラメータをタスク間で再利用することができる。 提案手法を選好ベースのアライメント・ベンチマークで評価し,世代間等価コスト(世代+レイテンシ,世代変換)を測定した。 この方法は、世代単位のコストで$N$の報奨に到達し、測定されたファーストバッチレイテンシの条件付けは、固定閾値(レイテンシを意識しない)ベースラインと同じくらいのコストを節約します。

関連論文リスト

• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
  このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。 側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。 我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)
• Improved Convergence of Score-Based Diffusion Models via Prediction-Correction [15.772322871598085]
  スコアベース生成モデル(SGM)は、複雑なデータ分布からサンプリングする強力なツールである。 本稿では,一般的な予測器・相関器方式のバージョンを考慮し,この問題に対処する。 まず、不正確なランゲヴィン力学を用いて最終分布を推定し、次にその過程を逆転する。
  論文  参考訳（メタデータ） (2023-05-23T15:29:09Z)
• Forecasting Foreign Exchange Rates With Parameter-Free Regression Networks Tuned By Bayesian Optimization [4.642930060629522]
  本論文は、外国為替(FX)レートの多段階金融時系列予測の問題に関するものである。 この問題に対処するために、RegPred Netと呼ばれるパラメータフリー回帰ネットワークを導入する。
  論文  参考訳（メタデータ） (2022-04-26T13:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。