論文の概要: Beyond Correctness: Compute-Responsive Data Selection for Reasoning Model Post-Training

• arxiv url: http://arxiv.org/abs/2610.20057v1
• Date: Wed, 14 Oct 2026 11:57:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.132507
• Title: Beyond Correctness: Compute-Responsive Data Selection for Reasoning Model Post-Training
• Title（参考訳）: 正確性を超えて: トレーニング後のモデル推論のためのコンピュータ応答型データ選択
• Abstract要約: 学習後データ選択の原則であるCRDS(Compute-Responsive Data Selection)を導入する。 Qwen3-8Bでは、CR例のSFTは45.3%のホールドアウト低スループット障害を回復し、すでに解決済み例のトレーニングでは40.6%であった。 SFT-CRは独立にサンプリングされた試験分布に対して51.8%の精度に達する。
• 参考スコア（独自算出の注目度）: 9.943499256100226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning language models increasingly rely on test-time compute scaling, yet most existing work studies how to allocate inference computation while treating the model itself as fixed. We ask a complementary question: can reasoning models be post-trained to make better use of a given amount of test-time compute, and which examples are most useful for this goal? Our key observation is that reasoning problems differ substantially in their response to additional computation. Some are already solved under limited compute, others remain unresolved even after further reasoning, while a distinct subset changes from complete initial failure to success when additional reasoning is provided. We call these compute-responsive (CR) examples and introduce Compute-Responsive Data Selection (CRDS), a post-training data-selection principle that prioritizes examples with empirically demonstrated marginal utility from additional reasoning. On Qwen3-8B, SFT on CR examples recovers 45.3\% of held-out low-compute failures, compared with 40.6\% when training on already-solved examples. The advantage extends beyond the selected CR split: SFT-CR reaches 51.8\% overall accuracy on an independently sampled test distribution, with the gain concentrated on compute-responsive problems. CR training also shifts the compute--accuracy frontier across inference budgets from 512 to 4,096 tokens, outperforming matched non-CR training throughout and reaching 48.1\% recovery at the largest budget. The same pattern is supported across multiple data sources, remains visible under on-policy distillation, and extends to Llama-3.1-8B-Instruct when CR sets are reconstructed separately for that model. Better test-time compute utilization can therefore be learned through post-training, with recoverable responses to additional reasoning providing a particularly informative signal for selecting training examples.
• Abstract（参考訳）: 言語モデルの推論は、テスト時の計算スケーリングにますます依存していますが、既存のほとんどの研究は、モデル自体を固定として扱いながら、推論計算を割り当てる方法を研究しています。 モデル推論は、所定の量のテストタイム計算をよりよく活用するために、後からトレーニングできるのか、この目標に最も役立つ例は何か? 我々のキーとなる観察は、推論問題は追加の計算に対する応答で大きく異なることである。 いくつかは制限された計算の下で既に解決されているが、さらに推論した後でも未解決のままであり、一方別のサブセットは追加の推論が提供されると、完全な初期失敗から成功へと変化する。 我々はこれらを計算応答性(CR)例と呼び、学習後データ選択の原則であるCompute-Responsive Data Selection(CRDS)を紹介します。 Qwen3-8Bでは、CR例のSFTは45.3\%のホールドアウト低スループット障害を回復し、既に解決済み例のトレーニングでは40.6\%である。 SFT-CRは、独立にサンプリングされたテスト分布に対して51.8\%の精度に達し、ゲインは計算応答性問題に集中する。 CRトレーニングはまた、推論予算の計算精度フロンティアを512から4,096トークンにシフトさせ、一致した非CRトレーニングよりも優れ、最大予算で48.1\%のリカバリを達成した。 同じパターンは複数のデータソースでサポートされており、そのモデルのためにCRセットが別々に再構成された場合、オン・ポリケーションの蒸留の下で見え、Llama-3.1-8B-Instructまで拡張される。 したがって、テストタイムの計算利用は、トレーニング後のトレーニングを通じて、トレーニング例を選択するための特に有意義な信号を提供する追加の推論に対するリカバリ可能な応答によって学習することができる。

関連論文リスト

• ReTAC: Residual Test-Time Agentic Computation for Video Spatial Reasoning [75.14564822108872]
  テストタイムエージェント計算は多モーダルな言語モデルを改善することができる。 ビデオ空間推論のためのトレーニング不要なマルチエージェントフレームワークであるReTACで、この定式化をインスタンス化する。
  論文  参考訳（メタデータ） (2026-10-12T07:39:58Z)
• SPECTRUM: Proximal Spectral Modulation for Looped Self-Distillation [7.270051853969119]
  Looped Self-Distillationは、モデルが自身の生出力から繰り返し生成し、学習するコード生成のためのフレームワークである。 SPECTRUMは初期モデルの64サンプルの精度の89.9%を維持しており、バニラ自己蒸留では66.4%、サブスペース投射制御では65.5%である。
  論文  参考訳（メタデータ） (2026-10-05T18:43:09Z)
• Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents [31.038434745676657]
  SSR(Structured Reasoning)は、オープン・エンド・ジェネレーションではなく、選択としての推論を再構築するフレームワークである。 SSRは、特定の再利用可能な自然言語候補として、高いレベルの推論を繰り返している。 2Bモデルと4Bモデルを用いて7つのマルチモーダル検索ベンチマークでSSRを評価する。
  論文  参考訳（メタデータ） (2026-10-01T15:42:14Z)
• Learning from the Gap Between Pass@K and Pass@1 [5.390994765967647]
  本研究では,各クエリが検索なしで1つの応答を受信する単一サンプル復号法について検討し,検索対象の振る舞いをモデルに吸収できるかどうかを問う。 既存のトレーニング後レシピは、Kサンプル内で回収された障害から、最初のデコードで既に解決されている問題を一般的に区別するものではない。 本稿では、ソースチェックポイントの単一サンプル結果とPass@K-Pass@1ギャップ上の微調整によってトレーニングエビデンスを選択するGapFTを紹介する。
  論文  参考訳（メタデータ） (2026-09-17T04:34:33Z)
• ThinkRetrieve: Retrieval-Augmented Reasoning Traces for Test-Time Scaling [60.48279351544583]
  ThinkRetrieveは大規模な推論モデルのためのテスト時間スケーリングフレームワークである。 それぞれの中間ステップで関連する例を検索し、思考トレースに直接注入する。 標準的なテスト時間スケーリングよりも精度が一貫して向上する。
  論文  参考訳（メタデータ） (2026-08-11T13:58:07Z)
• Refining Over Resampling: Test-Time Self-Correction for LLM Reasoning [3.8191765711200065]
  本稿では,テスト時間計算を用いて候補解の探索と改良を行う検証自由幅改良フレームワークを提案する。 提案手法は, 難解な復号化, 多数決投票, 検証器ベースのベスト・オブ・N$, ビームサーチ, および複数のオープンウェイトモデル間でのルック・復号化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-06T06:38:37Z)
• Selective Test-Time Compute Scaling for Click-Through Rate Prediction via Uncertainty-Triggered Feature Path Exploration [9.542597285477683]
  テスト時間計算のスケーリングは言語モデルに非常に効果的であることが証明されているが、この機会は産業用クリックスルーレート(CTR)予測では探索されていない。 UTTSI(Uncertainty-Triggered Test-Time Selective Inference)は、トレーニング不要なモデルに依存しないフレームワークで、推論深度をインスタンスごとの不確実性に比例して拡張する。
  論文  参考訳（メタデータ） (2026-05-24T10:29:10Z)
• $\textbf{Re}^{2}$: Unlocking LLM Reasoning via Reinforcement Learning with Re-solving [75.29519604607111]
  検証可能な報奨(RLVR)による強化学習は、大規模言語モデル(LLM)の推論性能を高めることを約束している。 チェーン・オブ・シークレット(CoT)の初期方向や品質が最適以下である場合、モデルが正しい答えに到達できないことがよく示される。 再解決による強化学習 (Reinforcement Learning with Re-solving, Re$2$) を導入し, LLM が非生産的推論経路を柔軟に放棄し,必要ならば解法を再開することを学ぶ。
  論文  参考訳（メタデータ） (2026-03-07T13:17:46Z)
• Beyond Correctness: Learning Robust Reasoning via Transfer [51.403609251508904]
  我々は単純な哲学的見解を採用するが、堅牢な推論はそれを作った心を超えて有用であるべきである。 本稿では,トランスファーブル・リワードを用いた強化学習を紹介し,トランスファーブル・リワードによるロバストネスの運用について述べる。 提案手法は,最終回答精度を向上しながらサンプリング一貫性を向上し,ほぼ少ないトレーニングステップで同等のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-09T10:41:44Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• TACO: Think-Answer Consistency for Optimized Long-Chain Reasoning and Efficient Data Learning via Reinforcement Learning in LVLMs [50.820065021136024]
  DeepSeek R1には、大規模言語モデル(LLM)のためのかなり高度な複雑な推論がある。 最近の手法は、R1の推論能力をマルチモーダルな設定で再現しようと試みている。 視覚推論のための新しい強化学習アルゴリズムTACOを提案する。
  論文  参考訳（メタデータ） (2025-05-27T06:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。