論文の概要: On the Limits of Test-Time Compute for Self-Evaluation

• arxiv url: http://arxiv.org/abs/2611.00350v1
• Date: Fri, 30 Oct 2026 20:31:49 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:28:27.006823
• Title: On the Limits of Test-Time Compute for Self-Evaluation
• Title（参考訳）: 自己評価のためのテスト時間計算の限界について
• Abstract要約: 候補数の増加は、最終回答精度とpass@Nのギャップを一貫して狭めるものではない。 アルゴリズム設計の選択と推論計算によって構成された両コンポーネントで、ランキング誤差がバイアス分散分解を許容することを示す。 Scorpioは、ランダムにグループ化された候補を共同でスコアする単純で一般的な方法である。
• 参考スコア（独自算出の注目度）: 15.03776451877394
• License:
• Abstract: Self-verification and aggregation have emerged as popular approaches for bridging the gap between pass@1 and pass@N. However, increasing the number of candidates does not consistently narrow the gap between final-answer accuracy and pass@N. To understand this limitation, we use ranking error to measure how reliably models distinguish their correct generations from incorrect ones. We show that ranking error admits a bias-variance decomposition, with both components shaped by algorithmic design choices and inference compute. Across our experiments, additional compute reduces variance, while bias initially decreases before approaching a plateau. Guided by this analysis, we introduce Scorpio, a simple and general method that jointly scores randomly grouped candidates. Across math, code, and puzzle benchmarks, Scorpio improves verification, tree search, and aggregation. For verification, Scorpio improves accuracy over the strongest baseline by up to 7 percentage points while matching or exceeding that baseline's peak accuracy with 17-42% lower inference cost. For tree search, using Scorpio to score partial solutions and select the final answer improves accuracy by up to 10 percentage points over prior methods. Finally, Scorpio improves the scaling of aggregation-based methods by 11 percentage points on coding tasks.
• Abstract（参考訳）: 自己検証と集約は、pass@1とpass@Nのギャップを埋めるための一般的なアプローチとして現れている。 しかし、候補数を増やすことは、最終回答精度とpass@Nのギャップを一貫して狭めるわけではない。 この制限を理解するために、ランキング誤差を用いて、モデルが正しい世代と間違った世代をいかに確実に区別するかを測定する。 アルゴリズム設計の選択と推論計算によって構成された両コンポーネントで、ランキング誤差がバイアス分散分解を許容することを示す。 実験全体を通して、新たな計算により分散が減少する一方、偏りは台地に近づく前に減少する。 この分析で導かれたScorpioは、ランダムにグループ化された候補を共同でスコアする単純で一般的な方法である。 数学、コード、パズルのベンチマークを通じて、Scorpioは検証、ツリー検索、集約を改善している。 検証のために、Scorpioは最強のベースラインに対する精度を最大7ポイント向上し、そのベースラインのピーク精度を17-42%低い推論コストでマッチングまたは超える。 ツリーサーチでは、Scorpioを使用して部分解をスコアし、最終回答を選択することで、以前の手法よりも最大10パーセント精度が向上する。 最後に、Scorpioは、アグリゲーションベースのメソッドのスケーリングを、コーディングタスクで11ポイント改善する。

関連論文リスト

• Nearly Optimal Fixed-Confidence Best-Arm Identification with 1-Bit Feedback [0.6524460254566904]
  ランダム化しきい値クエリとクリップ付きテール積分IDに基づく時間均一な1ビット平均推定プリミティブを提案する。 固定クリッピングアルゴリズムは、簡単ないつでも$(,)$-PACを保証する一方、位相適応クリッピングアルゴリズムは、クリッピングレベルと現在の解像度とを一致させ、ギャップ適応的なサンプル複雑性をもたらす。
  論文  参考訳（メタデータ） (2026-10-02T03:56:28Z)
• The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
  分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。 この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。 この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
  論文  参考訳（メタデータ） (2026-09-21T09:26:35Z)
• RANSAC Scoring Done Right [0.6678130184505635]
  最も広く使われているRANSAC変種は、インレーヤを数えたり、残差閾値を超えて飽和するポイント当たりのスコアを和らげることで、候補モデルを評価する。 通常の推論順序を逆転することで、この依存を排除します。 単一の閉形式表現は、非形式的ジェフリーズ極限と情報的経験的ベイズ先行にまたがる。 提案されたRANSACスコアは、不整合スケールが式から真に欠落している最初のスコアである。
  論文  参考訳（メタデータ） (2026-06-12T15:03:30Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• Computational and Statistical Hardness of Calibration Distance [5.990174495635325]
  キャリブレーションからの距離は確率予測器の誤校正の中心尺度として現れている。 分布が一様でノイズのないラベルを持つ場合, キャリブレーション距離を正確に計算するアルゴリズムを提案する。 意外なことに、2つの仮定のどちらかが取り除かれると、問題は$mathsfNP-hardになる。
  論文  参考訳（メタデータ） (2026-03-19T01:21:52Z)
• Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs [72.82403830490084]
  我々は、復号規則は正確さによって校正されるべきであり、自信だけではならないと論じている。 Greedy-Threshold はこの目標を達成するための単純な戦略を提案します。 この結果から,不確実性の下での復号化が問題視され,数学や一般推論のベンチマークで有意な差がみられた。
  論文  参考訳（メタデータ） (2025-10-07T14:46:12Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Sample-dependent Adaptive Temperature Scaling for Improved Calibration [95.7477042886242]
  ニューラルネットワークの誤りを補うポストホックアプローチは、温度スケーリングを実行することだ。 入力毎に異なる温度値を予測し、信頼度と精度のミスマッチを調整することを提案する。 CIFAR10/100およびTiny-ImageNetデータセットを用いて,ResNet50およびWideResNet28-10アーキテクチャ上で本手法をテストする。
  論文  参考訳（メタデータ） (2022-07-13T14:13:49Z)
• Mean-based Best Arm Identification in Stochastic Bandits under Reward Contamination [80.53485617514707]
  本稿では,ギャップベースアルゴリズムと逐次除去に基づく2つのアルゴリズムを提案する。 具体的には、ギャップベースのアルゴリズムでは、サンプルの複雑さは定数要素まで最適であり、連続的な除去では対数因子まで最適である。
  論文  参考訳（メタデータ） (2021-11-14T21:49:58Z)
• Social Distancing is Good for Points too! [91.3755431537592]
  点が近すぎるとFCNNの動作が悪くなることを示す。 そして、そのようなケースを避けるためにアルゴリズムの修正に成功した。 この修正はアルゴリズムの近似保証とともに有用な上界を証明するのに十分である。
  論文  参考訳（メタデータ） (2020-06-28T16:49:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。