論文の概要: Cheap to Draw, Expensive to Trust: Certifying Test-Time Scaling Curves

• arxiv url: http://arxiv.org/abs/2609.40190v1
• Date: Wed, 30 Sep 2026 17:08:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.130687
• Title: Cheap to Draw, Expensive to Trust: Certifying Test-Time Scaling Curves
• Title（参考訳）: ドローとトラストの両面から - テストタイムスケーリング曲線の認定
• Abstract要約: いくつかの回答をサンプリングし、検証者が最高点を維持することは、テスト時に正確性を購入する最も簡単な方法の1つです。 曲線全体の証明に要する最小コストから対数係数までを導出する。 185のホールドアウトスコアプールでは、64の予算で最も安価な認定監査の回答の0.74倍、1,024で0.53倍を使用する。
• 参考スコア（独自算出の注目度）: 0.013594158136398242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling several answers and keeping the one a verifier scores highest is one of the simplest ways to buy accuracy at test time. Its effect is reported as a scaling curve: accuracy against the number $k$ of sampled answers. The curve is cheap to draw and expensive to trust. A budget read off it is chosen after looking at every point, so only a band that covers all budgets at once protects the choice, and on a 100-question benchmark a fixed exact-binomial design needs 192,000 generated answers to certify 64 budgets to within $\pm1/32$ at 95%. Most of that cost pays for the wrong uncertainty. A benchmark is a fixed list of questions; at budget 64, about three quarters of the variance of a selected answer's correctness lies between questions, and an audit that revisits every question need not pay for it. We derive the minimax cost of certifying the whole curve, up to logarithmic factors. It has three parts: calibrating the tail of the score distribution, telling the questions apart, and within-question noise summed along the curve. At a single benchmark the last part sharpens to the variance of one answer's influence under the best allocation of answers to questions, which every valid audit pays and an audit that learns the allocation attains, up to a logarithm, as the precision grows. A paired audit built on an exponential inequality for two independent draws at the same question needs no pilot. On 185 held-out score pools it uses 0.74 times the answers of the cheapest competing certified audit at 64 budgets and 0.53 times at 1,024, and on a newly generated MMLU-Pro study it certified the curve with 79,133 answers, within 0.6% of what a cost law fitted beforehand predicted from the study's within-question variance. The same paths certify pass@$k$ and majority voting, and the bands extend to populations of questions and to answers that depend on earlier ones.
• Abstract（参考訳）: いくつかの回答をサンプリングし、検証者が最高点を維持することは、テスト時に正確性を購入する最も簡単な方法の1つです。 その効果はスケーリング曲線として報告されている: サンプル回答の数$k$に対する精度である。 曲線は引き出すのが安く、信頼するのも高い。 予算はすべての点を見て読み上げられるので、すべての予算を一度にカバーするバンドだけが選択を保護し、100のクエストベンチマークでは、64予算を95%で\pm1/32$以内に認定するために、192,000の正確な二項式設計の回答が必要である。 そのコストのほとんどは間違った不確実性のために支払われます。 ベンチマークは質問の固定されたリストであり、予算64では、選択された回答の正しさの約4分の3が質問の間にある。 曲線全体の証明に要する最小コストから対数係数までを導出する。 スコア分布の尾部を校正し、質問を分割し、曲線に沿って入射音を和らげる。 単一のベンチマークでは、最後の部分は、質問に対する回答の最適な割り当ての下で、ひとつの回答の影響のばらつきを鋭くします。 インディペンデントドローの指数的不等式に基づいて構築されたペア監査では、パイロットは必要ない。 185のホールトアウトスコアプールでは、64の予算で最も安価な認定監査の回答の0.74倍、1,024で0.53倍、新しく生成されたMMLU-Proでは79,133の回答で曲線を認定した。 同じパスがpass@k$を認証し、多数決を行う。

関連論文リスト

• Budget Boundary Effects in Test-Time Mathematical Reasoning [4.925333713444691]
  累積トークンキャップは、テストタイムコントローラにキャップ(制限)の停止を選択させ、現在の試行を終了させる(管理者)。 この境界選択を、19,200の公開トレースのペアのオフラインリプレイで測定する。
  論文  参考訳（メタデータ） (2026-09-30T00:28:34Z)
• Risk-Controlled Selective LLM Answering by Pricing Label-Free Checks [32.581299794611375]
  PriceCheckはラベルなしチェックから決定ルールのコンパクトなファミリを構築する。 それぞれのチェックには、正しい回答と間違った回答に対する合意率と実行当たりのコストという、価格がある。 キャリブレーションテストは、指示された選択リスクターゲットでスケジュールを選択する。
  論文  参考訳（メタデータ） (2026-09-27T20:16:46Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• CoBa: Cost-Effective Test-Time Scaling via Compute-Balanced Routing [15.829191594065888]
  本稿では,次の計算単位が生成,検証,停止に費やされるべきかどうかをシステムが決定しなければならない計算割当問題として,テスト時間推論を定式化する。 計算バランスの取れたルーティングポリシであるCoBaを導入し、まず少数の候補を最初に獲得し、より安価な検証を広く適用し、不確実性や高価値な候補をルートしてより強力な検証を行う。
  論文  参考訳（メタデータ） (2026-08-07T17:12:13Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
  我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。 K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。 EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
  論文  参考訳（メタデータ） (2026-05-22T08:26:08Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Linear Contextual Bandits with Adversarial Corruptions [91.38793800392108]
  本稿では,敵対的腐敗の存在下での線形文脈的包帯問題について検討する。 逆汚染レベルに適応する分散認識アルゴリズムをC$で提案する。
  論文  参考訳（メタデータ） (2021-10-25T02:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。