論文の概要: P(Yes): 15$\times$ Improvements via Test-Time Scaling of Decision Models

• arxiv url: http://arxiv.org/abs/2610.25474v1
• Date: Sun, 18 Oct 2026 19:01:15 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:21:57.530739
• Title: P(Yes): 15$\times$ Improvements via Test-Time Scaling of Decision Models
• Title（参考訳）: P(Yes): 決定モデルのテスト時間スケーリングによる15$\times$改善
• Abstract要約: フリーズ決定モデルに、トレーニングなしでテストタイム検索を追加します。 モデルに提案された完全な回答を示し、提案の正しさを「Yes」と言う確率を読み出し、それよりも高い回答を求める。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Decision models answer typed questions, such as multiple-choice or yes/no questions, with a probability for each option. We add test-time search to frozen decision models, with no training: we show the model a complete proposed answer, read off its probability of saying "Yes" to the proposal's correctness, and search for answers that it rates higher. The search is done either by editing one answer at a time or by joint optimization, which changes several answers at once. Search raises accuracy for every model and test set we tried, and the gains are largest for exact correctness on logic puzzles, where every answer in a task must be right. On 128 such puzzles, it takes Qwen3.8-27B from 2 to 30 exactly correct puzzles ($15\times$) and its per-blank accuracy from 27.8% to 48.5%. On a shared set of 47 puzzles, searching over each model's own Yes/No score raises the per-blank accuracy of StartLux Instant, Perplexity Decider, Clef, and JEV, which we reach only through its public API, by 4.0 to 13.0 percentage points, and raises the number of puzzles they get exactly correct, out of 47 and averaged over three search seeds, from 10 to 35, 9 to 26, 2 to 11, and 9 to 31.7 respectively.
• Abstract（参考訳）: 決定モデルは、複数の選択やイエス/ノー質問といった型付き質問に、それぞれの選択肢の確率で答える。 我々は、凍結した意思決定モデルにテストタイム検索を追加し、トレーニングなしで、モデルに完全な回答を示し、提案の正しさに「Yes」と言う確率を読み取り、より高い評価の回答を検索する。 検索は、一度に1つの回答を編集するか、共同最適化によって行われる。 検索は、私たちが試したすべてのモデルとテストセットの精度を高めます。 128のパズルでは、Qwen3.8-27Bを2から30まで正確に正しいパズル($15\times$)とし、ブランク当たりの精度は27.8%から48.5%である。 47のパズルの共有セットでは、各モデルのYes/Noスコアを検索すると、StartLux Instant、Perplexity Decider、Clef、JEVのブランク毎の精度が4.0から13.0ポイント向上し、47のパズルのうち、それぞれ10から35、9から26、11から31.7まで、それぞれ正確に3つ以上の検索シードが得られた。

関連論文リスト

• Consider, Then Choose: Order-Invariant Decisions in System One Models [15.157325954348245]
  システム1モデルは、1つのフォワードパスで型付き質問に答え、同じ入力に対して同じ答えを約束します。 答えは選択肢の順序に依存し、数が増えるにつれてますます増えていき、循環的なシフトを平均化することで、取り除くことなく、この依存を減らす。 我々は、$textbfRunoff$を提案し、その選択を考慮し、選択し、いくつかの候補を保持するために各選択肢を単独でスコアし、各候補がすべての位置を占めるリストでそれらを比較します。 トレーニングを必要とせず、2つのフォワードパスで実行でき、その答えはオプションオーダーに依存しない。
  論文  参考訳（メタデータ） (2026-10-13T12:02:46Z)
• Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses [6.778374627376906]
  System-1決定モデルは、クラス確率で単一のフォワードパスでそのような質問に答える。 オープンウェイト (Laya) モデルとホスト (Jev) System-1 モデルとのペア評価を行った。
  論文  参考訳（メタデータ） (2026-10-01T05:57:14Z)
• Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
  Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。 固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。 分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
  論文  参考訳（メタデータ） (2026-09-29T14:15:04Z)
• Your Benchmark Is Not Saturated: Reviving Multiple-Choice Evaluation with Answer Pooling [3.705718227493618]
  マルチ選択ベンチマークは、グレードが安く、不在です。 私たちはAnswerPoolを提案します: コンテキストを共有する$N$の質問を受け取り、すべてのオプションを1つのリストにまとめ、モデルにその答えを割り当てるように頼みます。
  論文  参考訳（メタデータ） (2026-09-28T14:57:53Z)
• Pencil Puzzle Bench: A Benchmark for Multi-Step Verifiable Reasoning [0.0]
  本稿では,ペンシル・プッズル・ベンチ(Pencil Puzzle Bench)について紹介する。 62,231のパズルのデータベースから、20種にまたがる300のパズルのベンチマークを選択し、11のプロバイダから51のモデルを評価する。 ベンチマークの重要な差別化要因は、すべての中間ボード状態が、さまざまな制約に対してチェック可能であることです。
  論文  参考訳（メタデータ） (2026-03-02T17:40:54Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)
• Navigating the Labyrinth: Evaluating LLMs' Ability to Reason About Search Problems [62.76627483915117]
  大規模言語モデル(LLM)は、最近、数学と推論ベンチマークで印象的なパフォーマンスを達成した。 直感的なパズルにインスパイアされた11のユニークな検索問題を含む新しいベンチマークであるSearchBenchを紹介した。 ステップバイステップで言語のみの推論を用いることで、最も先進的なLLMでさえ、SearchBenchの解決に失敗することを示します。
  論文  参考訳（メタデータ） (2024-06-18T00:44:58Z)
• Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
  モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。 我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T06:50:23Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。