論文の概要: Speculative Evaluation of Stochastic LLMs

• arxiv url: http://arxiv.org/abs/2609.28560v1
• Date: Wed, 23 Sep 2026 09:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.402546
• Title: Speculative Evaluation of Stochastic LLMs
• Title（参考訳）: 確率LDMの投機的評価
• Abstract要約: 投機的評価は、短い一様パイロットと、タスク毎の成功回数のプールを実行する。 HBN-asyncは、部分的なパイロットフィードバックからの継続を投機的に実行し、最終的なアロケーションによって選択されたものを保持する。 1タスクあたり8-64のロールアウト予算では、投機的評価は、Uniformに対する分散を平均12.8%から33.6%削減する。
• 参考スコア（独自算出の注目度）: 48.902430583833585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating a stochastic large language model is costly: benchmark scores estimate expected performance from randomized rollouts, yet uniform repetition ignores sharp differences in task-level rollout variance. We ask how to minimize the variance of a fixed-benchmark mean under an exact rollout budget. We develop Speculative Evaluation with a Hierarchical Bayesian Neyman (HBN) policy with pilot size and stage weight jointly chosen ex ante. It runs a short uniform pilot, pools per-task success counts with a hierarchical Bayesian model, and uses posterior expectations of task-level sampling variances for exact positive-integer Neyman allocation. To mitigate the pilot synchronization barrier, HBN-async speculatively executes continuations from partial pilot feedback and retains those selected by the final allocation. Across six checkpoints and 18 benchmark groups, we evaluate 107 nondegenerate benchmark-checkpoint profiles. For rollout budgets of 8-64 per task, Speculative Evaluation reduces variance relative to Uniform by 12.8%-33.6% on average across profiles, outperforming hindsight-tuned empirical and independent Bayesian baselines. Real-generation experiments that account for the pilot synchronization barrier show that HBN-async mitigates its overhead, helping translate statistical efficiency into practical evaluation benefits.
• Abstract（参考訳）: ベンチマークスコアはランダム化されたロールアウトから期待されるパフォーマンスを推定するが、均一な繰り返しはタスクレベルのロールアウトのばらつきを著しく無視する。 正確なロールアウト予算の下で、固定ベンチマーク平均の分散を最小限にする方法を問う。 我々は,パイロットサイズとステージウェイトを併用した階層型ベイズ・ネイマン(HBN)政策による投機的評価を開発する。 短い一様パイロットを実行し、階層的ベイズモデルでタスク毎の成功数をカウントし、タスクレベルのサンプリング分散の後方予測を正整数のネイマン割り当てに使用する。 パイロット同期障壁を軽減するため、HBN-asyncは部分的なパイロットフィードバックからの継続を投機的に実行し、最終的なアロケーションで選択したものを保持する。 6つのチェックポイントと18のベンチマークグループで、107個の非退化ベンチマークチェックポイントプロファイルを評価した。 1タスクあたり8-64のロールアウト予算に対して、投機的評価は、プロファイル全体の平均で、Uniformに対する分散を12.8%から33.6%削減し、後ろ向きの経験的および独立したベイズ的ベースラインを上回っている。 パイロット同期障壁を説明する実世代の実験では、HBN-asyncはそのオーバーヘッドを軽減し、統計的効率を実用的な評価の利点に翻訳する。

関連論文リスト

• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons [16.73008463123115]
  低ランク共有は、独立したタスクワイドBradley-Terry推定よりもサンプリング効率を向上させる。 合成データとアリーナの実験により、低ランクの共有は独立したタスクワイドBradley-Terry推定よりもサンプリング効率を向上させることが示された。
  論文  参考訳（メタデータ） (2026-05-28T05:44:43Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• Efficient Benchmarking of AI Agents [0.0]
  小型タスクサブセットがエージェントランキングを極めて低コストで維持できるかどうかを検討する。 絶対スコア予測は足場駆動の分布シフトで低下することがわかった。 本稿では,中間的履歴パス率を持つタスクに対してのみ,新しいエージェントを評価できる最適化フリープロトコルを提案する。
  論文  参考訳（メタデータ） (2026-03-24T22:17:11Z)
• ALMAB-DC: Active Learning, Multi-Armed Bandits, and Distributed Computing for Sequential Experimental Design and Black-Box Optimization [0.0]
  ALMAB-DCはブラックボックス実験のための逐次設計フレームワークである。 バンディット成分に対する累積的後悔境界を示し、Amdahlの法則を通した並列スケーラビリティを特徴付ける。 分散実行は、Amdahlの法則に従って、$K = 16$エージェントでの7.5times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-03-22T11:47:20Z)
• Discounted Beta--Bernoulli Reward Estimation for Sample-Efficient Reinforcement Learning with Verifiable Rewards [33.87514827860037]
  検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力向上に有効な訓練後パラダイムとして登場した。 既存のグループベースのRLVR法は、しばしば深刻なサンプル不効率に悩まされる。 本研究では,RLVRを統計的推定の観点から,政策誘導分布から引き出されたサンプルとして報酬をモデル化することによって再構成する。
  論文  参考訳（メタデータ） (2026-03-19T03:10:47Z)
• Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards [26.5011687714416]
  既存のグループベースのポリシー最適化手法は、すべてのトレーニングプロンプトに対して一定数のロールアウトを割り当てる。 この均一な割り当ては全てのプロンプトを等しく情報的扱いし、非効率的な計算予算の使用と訓練の進捗を妨げる可能性がある。 本稿では、既存のバッチのプロンプトに所定のロールアウト予算を割り当て、ポリシー更新のグラデーションのばらつきを最小限に抑える可変インフォームド予測割当戦略であるVIPを紹介する。
  論文  参考訳（メタデータ） (2026-02-02T03:50:01Z)
• The Lie of the Average: How Class Incremental Learning Evaluation Deceives You? [48.83567710215299]
  クラスインクリメンタルラーニング(CIL)では、モデルが学習済みのクラスを忘れずに、新しいクラスを継続的に学習する必要がある。 我々は、ロバストなCIL評価プロトコルは、性能分布全体を正確に特徴付け、推定するべきであると論じる。 我々は,タスク間類似度を用いて,極端なクラスシーケンスを適応的に識別し,サンプリングする評価プロトコルEDGEを提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。