論文の概要: Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2605.11299v2
• Date: Wed, 13 May 2026 03:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 17:13:58.878976
• Title: Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling
• Title（参考訳）: プライマリジェネレーションとデュアルジャッジメント - テスト時間スケーリングによる自己評価
• Authors: Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang,
• Abstract要約: 2つの判断空間から自己学習を行うフレームワークであるDuST(Dual Self-Training)を導入する。 我々は、DuSTがLiveCodeBenchのBest-of-4テストタイムスケーリングを継続的に改善していることを示します。 LiveCodeBench v6のQwen3-30B-Thinkingでは、判定品質が+6.2 NDCG、シングルサンプルパス@1が+3.1、Best-of-4の精度が+4.1向上している。
• 参考スコア（独自算出の注目度）: 29.008352630270192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code generation is typically trained in the primal space of programs: a model produces a candidate solution and receives sparse execution feedback, often a single pass/fail bit. Test-time scaling enriches the inference procedure by sampling multiple candidates and judging among them, but the comparative information this process reveals is discarded after inference. We argue that this information defines a dual judgment space that provides a far richer training signal: the model learns not from an isolated success or failure, but from the relative correctness structure across its own plausible attempts, identifying which succeed, which fail, and what distinguishes them. We introduce DuST (Dual Self-Training), a framework for self-training from the dual judgment space. DuST samples candidate programs from the model's own distribution, labels them through sandbox execution, retains groups containing both successes and failures, and trains the model to rank candidates by execution correctness using GRPO. The objective is purely discriminative: the model is never directly rewarded for generating correct programs. Dual self-training improves both judgment and generation. Across five models spanning two families and three scales (4B to 30B), DuST consistently improves Best-of-4 test-time scaling on LiveCodeBench. For Qwen3-30B-Thinking on LiveCodeBench v6, judgment quality improves by +6.2 NDCG, single-sample pass@1 improves by +3.1, and Best-of-4 accuracy improves by +4.1. The trained model's single rollout matches the base model's Best-of-4 performance. SFT on the same ranking data improves judgment without improving generation, confirming that on-policy RL is the mechanism that transfers dual-space learning back into primal generation.
• Abstract（参考訳）: モデルは候補のソリューションを生成し、スパースな実行フィードバックを受け取り、多くの場合は1パス/フェイルビットである。 テストタイムスケーリングは、複数の候補をサンプリングし、それらの中から判断することで推論手順を強化するが、このプロセスが明らかにする比較情報は、推論後に破棄される。 モデルは、孤立した成功や失敗からではなく、相対的な正当性構造から学習し、どの成功、どれが失敗、何が失敗であるかを識別する。 2つの判断空間から自己学習を行うフレームワークであるDuST(Dual Self-Training)を導入する。 DuSTは、モデル自身のディストリビューションから候補プログラムをサンプリングし、サンドボックス実行を通じてラベル付けし、成功と失敗の両方を含むグループを保持し、GRPOを使用して候補をランク付けするようにモデルを訓練する。 目的は純粋に差別的であり、モデルが正しいプログラムを生成することで直接報酬を受けることはない。 デュアルトレーニングは、判断と生成の両方を改善する。 2つのファミリーと3つのスケール(4Bから30B)にまたがる5つのモデルで、DuSTはLiveCodeBench上でのBest-of-4テストタイムスケーリングを一貫して改善している。 LiveCodeBench v6のQwen3-30B-Thinkingでは、判定品質が+6.2 NDCG、シングルサンプルパス@1が+3.1、Best-of-4の精度が+4.1向上している。 トレーニングされたモデルのシングルロールアウトは、ベースモデルのBest-of-4のパフォーマンスと一致する。 同じランキングデータ上のSFTは、生成を改善することなく判断を改善し、オンラインRLが双空間学習を予備生成に戻すメカニズムであることを確認した。

関連論文リスト

• JudgeRLVR: Judge First, Generate Second for Efficient Reasoning [20.448286296459344]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルにおける推論の標準パラダイムとなっている。 本稿では,識別能力が効率的な生成の前提条件であると主張している。 本稿では,2段階の審査理論であるジャッジRLVRを提案する。
  論文  参考訳（メタデータ） (2026-01-13T11:47:42Z)
• Continuous Self-Improvement of Large Language Models by Test-time Training with Verifier-Driven Sample Selection [6.471199527741301]
  VDS-TTT(Verifier-Driven Sample Selection for Test-Time Training)と呼ばれる新しいフレームワークを導入する。 学習した検証器を用いて、生成された応答のプールをスコアし、高いランクの擬似ラベル付き例からのみ選び、微調整を施す。 低ランクなLoRAアダプタパラメータのみを微調整し、適応効率と高速収束を確保する。
  論文  参考訳（メタデータ） (2025-05-26T03:54:47Z)
• Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
  大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。 しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。 本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:32:19Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。