論文の概要: Predicting Inference-Time Scaling Gains from Labeled Validation-Set Output Statistics

• arxiv url: http://arxiv.org/abs/2606.02981v1
• Date: Tue, 02 Jun 2026 00:38:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.658433
• Title: Predicting Inference-Time Scaling Gains from Labeled Validation-Set Output Statistics
• Title（参考訳）: ラベル付きバリデーション-セット出力統計から推測時間スケーリングの利得を予測する
• Authors: Luyang Zhang, Jingyan Li,
• Abstract要約: Best-of-N$推論スケーリングは、モデルによって異なる量によって精度が向上するが、現時点ではプロシージャをエンドツーエンドで実行する必要がある。 我々は,1つのバリデーションセットサンプリングパスから計算した特徴にリッジ予測器を適合させ,ブートストラップ・ラッソを候補特徴セットの安定性解析として使用し,明示的な線形近似残差を持つ濃度解析を行う。 このコアとエントロピーアドオンで構築されたコンパクトなリッジ予測器は、報奨モデル検証の下で実際のベスト・オブ・N$ゲインを持つスピアマン$=0.90$に達する。
• 参考スコア（独自算出の注目度）: 0.42970700836450487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Best-of-$N$ inference scaling (drawing $N$ candidate answers from a language model and returning the one a reward model ranks highest) improves accuracy by an amount that varies across models, but predicting that amount in advance currently requires running the procedure end-to-end. Prior work links cheap statistics of a model's sampled outputs and validation-set correctness (how often samples agree, how diverse they are, how confident the model is, and where correct samples appear) to model behavior, but does not isolate which of these form a stable, compact predictor of best-of-$N$ gain. We fit ridge predictors on features computed from a single labeled validation-set sampling pass, use bootstrap-Lasso as a stability analysis of the candidate feature set, and give a concentration analysis with an explicit linear-approximation residual. Across three base-model families, six post-training methods, and math and reasoning task domains, the stability analysis identifies a strict three-feature core spanning prompt-level agreement spread, label-assisted first-correct-sample position, and completion-length variance; a compact ridge predictor built from this core plus an entropy add-on reaches Spearman $ρ= 0.90$ with actual best-of-$N$ gain under a reward-model verifier. The intended use is labeled validation-set screening of candidate configurations before paying the full reward-model scoring cost.
• Abstract（参考訳）: Best-of-N$推論スケーリング(言語モデルからN$の候補回答を抽出し、報酬モデルが上位に返却する)は、モデルによって異なる量によって精度を向上するが、現在、その金額を事前に予測するには、プロシージャをエンドツーエンドで実行する必要がある。 以前の作業は、モデルのサンプル出力の安価な統計とバリデーションセットの正しさ(サンプルの多様性、モデルの多様性、モデルの信頼性、正しいサンプルの出現場所など)をモデル行動にリンクするが、どれが安定でコンパクトなN$ゲイン予測器になるかを区別しない。 我々は、単一のラベル付きバリデーションセットサンプリングパスから計算された特徴にリッジ予測器を適合させ、ブートストラップ・ラッソを候補特徴セットの安定性解析として使用し、明示的な線形近似残差を持つ濃度解析を行う。 3つの基本モデルファミリー、6つのポストトレーニング方法、および数学および推論タスクドメインにまたがって、安定性解析は、プロンプトレベルの合意が広まる厳密な3つの機能コア、ラベルアシストされた1次修正サンプル位置、完了長の分散、およびこのコアから構築されたコンパクトなリッジ予測器とエントロピーアドオンがスピアマン$ρ=0.90$に到達し、報酬モデル検証器の下で実際のベスト・オブ・N$ゲインを持つ。 目的の用途は、完全な報酬モデルスコアリングコストを支払う前に、候補設定を検証セットでスクリーニングすることである。

関連論文リスト

• Selective Test-Time Compute Scaling for Click-Through Rate Prediction via Uncertainty-Triggered Feature Path Exploration [9.542597285477683]
  テスト時間計算のスケーリングは言語モデルに非常に効果的であることが証明されているが、この機会は産業用クリックスルーレート(CTR)予測では探索されていない。 UTTSI(Uncertainty-Triggered Test-Time Selective Inference)は、トレーニング不要なモデルに依存しないフレームワークで、推論深度をインスタンスごとの不確実性に比例して拡張する。
  論文  参考訳（メタデータ） (2026-05-24T10:29:10Z)
• Test-Time Personalization: A Diagnostic Framework and Probabilistic Fix for Scaling Failures [26.927205237105156]
  パーソナライズされたポリシーモデルからN候補をサンプリングし、パーソナライズされた報酬モデルを用いてベストを選択することにより、スケーリング推定時間を計算する。 オラクルの選択は、サンプル候補数と対数的に増大する期待効用が得られることを証明している。 確率論的パーソナライズされた報酬モデルを提案する。
  論文  参考訳（メタデータ） (2026-05-09T12:09:11Z)
• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [69.41389326333771]
  トレーニングデータとテストデータの間に大きな分散ギャップが存在する場合、視覚言語の基礎モデルは信頼できない。 本稿では,DOTA(DistributiOnal Test-time Adaptation)を提案する。 この分散中心のアプローチは、モデルが継続的に学習し、デプロイメント環境に適応することを可能にする。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Conformal Nucleus Sampling [67.5232384936661]
  最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。 OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
  論文  参考訳（メタデータ） (2023-05-04T08:11:57Z)
• Boost Test-Time Performance with Closed-Loop Inference [85.43516360332646]
  そこで本研究では,モデル性能を高めるために,ループ方式でハードクラス化試験サンプルを予測することを提案する。 まず、追加の推論ループを必要とするハードクラス化テストサンプルを識別するためにフィルタリング基準を考案する。 各ハードサンプルに対して、モデルのキャリブレーションを行うために、元の上位$K$予測に基づいて補助学習タスクを構築する。
  論文  参考訳（メタデータ） (2022-03-21T10:20:21Z)
• Conformal Prediction Under Feedback Covariate Shift for Biomolecular Design [56.86533144730384]
  本稿では,トレーニングデータとテストデータが統計的に依存した環境での予測不確実性を定量化する手法を提案する。 モチベーション・ユースケースとして,本手法が設計したタンパク質の適合性予測の不確かさを定量化する方法を実データで示す。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• $\Delta$-UQ: Accurate Uncertainty Quantification via Anchor Marginalization [40.581619201120716]
  予測モデルにおけるアンカーの概念を用いた新規で汎用的な不確実性推定器であるDelta$UQを提案する。 この不確実性は、入力データの不適切なサンプリングと固有のノイズと深く結びついているので、あらゆるシステムにおける完全な不確実性を評価することができる。
  論文  参考訳（メタデータ） (2021-10-05T17:44:31Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。