論文の概要: When More Sampling Hurts: The Modal Ceiling and Correlation Ceiling of Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2606.28661v1
• Date: Sat, 27 Jun 2026 00:37:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.633962
• Title: When More Sampling Hurts: The Modal Ceiling and Correlation Ceiling of Test-Time Scaling
• Title（参考訳）: ハートをもっとサンプリングする場合: テストタイムスケーリングのモーダルシーリングと相関シーリング
• Abstract要約: 人々は過度に考え、言語モデルは過度にサンプルされ、余分な努力は両方を悪く答えることができます。 本論文では, カットオフを, サンプリング実行が既に明らかにしている, 有効なサンプル数である1つの数に変換する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: People overthink; language models over-sample, and the extra effort can talk both into a worse answer. Reasoning systems answer a hard question by sampling it many times (test-time scaling), and the more they draw, the more often a correct answer turns up somewhere, so coverage, the fraction of problems with at least one correct try, climbs and appears to be progress. But a deployed system must return one answer, and choosing it, not knowing which try is right, is selection; selection is capped, and past a point extra samples only make the model surer of a confident mistake, even as every draw adds cost. The gap between climbing coverage and stalled selection, the identifiability gap, is the answer a model can produce but not pick. So the real question is not whether to sample but how far, and the answer is: not far. For picking an answer, the vote has already settled within a few dozen draws, the modal ceiling; for scoring a benchmark, sooner still, the correlation ceiling. Beyond that, extra draws cost compute and add nothing, and can even make the answer worse. This paper turns the cutoff into a single number, the effective number of samples, that any sampling run already reveals. The bottleneck is recognizing a right answer, not generating one.
• Abstract（参考訳）: 人々は過度に考え、言語モデルは過度にサンプルされ、余分な努力は両方を悪く答えることができます。 推論システムは、何度もサンプリングして難しい質問に答える(テストタイムのスケーリング)。そして、それらが引き出すほど、正しい答えがどこかに現れることが多いので、カバレッジ、少なくとも1つの正しい試みによる問題のごく一部は、上昇し、進行しているように見える。 しかし、デプロイされたシステムは1つの答えを返す必要があり、どの試行が正しいかを知らずにそれを選択することは選択である。 クライミングカバレッジと停止した選択の間のギャップ、すなわち識別可能性のギャップは、モデルが生成できるが、選択できない答えである。 ですから、本当の疑問は、サンプリングするかどうかではなく、どのくらいの距離で答えるべきなのか、ということです。 回答を選ぶために、投票はすでに数十のドロー、モーダル天井に落ち着き、ベンチマークのスコアは、より早く相関天井に落ち着いた。 さらに、余分な計算はコストを削減し、何も加えない。 本論文では, カットオフを, サンプリング実行が既に明らかにしている, 有効なサンプル数である1つの数に変換する。 ボトルネックは正しい答えを認識することです。

関連論文リスト

• A decodability criterion predicts when hidden-state selection beats majority voting in large language models [10.860308169044679]
  本稿では,解答点隠れ状態の線形ゲートを訓練し,最上位候補を選択する動的選択結合器を提案する。 その主な貢献は、解答可能性(deodability)であり、ゲートが質問の正しい候補をどれだけ正確にランクづけしているかの漏れのない尺度である。
  論文  参考訳（メタデータ） (2026-08-17T21:02:10Z)
• It's the Decoding Format, Not the Perturbation: Auditing Consistency-Based Selection for Vision-Language Test-Time Scaling [0.8594140167290097]
  摂動グラウンドドセレクション(Perturbation Grounded Selection、Pgs)は、ラベルのない訓練のないルールであり、モデルがラベル保存された入力の摂動の下でそれを導出するかどうかによって各候補をスコア付けする。 Pgsは圧倒的多数決に勝っているが、デコードフォーマットと予算が制御されたら、摂動という用語が何か追加するかどうかが分かる。
  論文  参考訳（メタデータ） (2026-08-02T12:47:39Z)
• The Benchmark Illusion: Pruned LLMs Can Pass Multiple Choice but Fail to Answer [14.274182889933272]
  大規模な言語モデルはメモリ使用量と推論コストを削減しますが、標準ベンチマークが見逃す障害も発生します。 正しい答えが消去されるのか、それとも、上位の出力として答えが生成しにくくなるのか? ベンチマークの錯覚を見いだす。高いスパーシティプルーニング(特にワンダ)の下では、モデルは、複数のスコアで正しい答えを選択しながら、欲張りのオープンジェネレーションで失敗することが多い。
  論文  参考訳（メタデータ） (2026-06-16T07:14:52Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Learning to Answer from Correct Demonstrations [26.367368795756903]
  質問(あるいはプロンプト)に対する回答(あるいは完了)を生成するための学習の課題について,複数の正しい回答が存在する可能性について検討する。 我々は,この問題を文脈的包帯におけるオフライン模倣学習として定式化し,いくつかの最適推定から実演する。 私たちの仕事は、正しいデモから学ぶとき、可能性以上のものを探します。
  論文  参考訳（メタデータ） (2025-10-17T09:20:17Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
  MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。 我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。 後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
  論文  参考訳（メタデータ） (2024-07-21T00:10:23Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
  モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。 我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T06:50:23Z)
• A Semantic-based Method for Unsupervised Commonsense Question Answering [40.18557352036813]
  ラベル付きタスクデータに依存しないため、教師なしのコモンセンス質問応答は魅力的である。 教師なしコモンセンス質問応答のためのSemantic-based Question Answering法(SEQA)を提案する。
  論文  参考訳（メタデータ） (2021-05-31T08:21:52Z)
• The Price of Incentivizing Exploration: A Characterization via Thompson Sampling and Sample Complexity [83.81297078039836]
  インセンティブ付き探索(Incentivized Exploring)は、武器の選択を自給自足エージェントによって制御するマルチアーム・バンディットのバージョンである。 我々は、インセンティブの価格に焦点を合わせ、インセンティブの適合性のために、広く解釈された、パフォーマンスの喪失が引き起こされる。
  論文  参考訳（メタデータ） (2020-02-03T04:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。