論文の概要: REVES: REvision and VErification--Augmented Training for Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2606.18910v1
• Date: Wed, 17 Jun 2026 10:37:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.11813
• Title: REVES: REvision and VErification--Augmented Training for Test-Time Scaling
• Title（参考訳）: REVES: 改訂とverification--テストタイムスケーリングのための強化トレーニング
• Authors: Yuanxin Liu, Ruida Zhou, Xinyan Zhao, Amr Sharaf, Hongzhou Lin, Arijit Biswas, Mohammad Ghavamzadeh, Zhaoran Wang, Mingyi Hong,
• Abstract要約: 本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
• 参考スコア（独自算出の注目度）: 53.197756110943395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time scaling via sequential revision has emerged as a powerful paradigm for enhancing Large Language Model (LLM) reasoning. However, standard post-training methods primarily optimize single-shot objectives, creating a fundamental misalignment with multi-step inference dynamics. While recent work treats this as multi-turn reinforcement learning (RL), conventional approaches optimize over the multi-step trajectories directly, failing to further exploit the high-quality mistakes in intermediate steps that model can learn from correcting them. We propose a two-stage iterative framework that alternates between online data/prompt augmentation and policy optimization. By converting the intermediate steps (``near-miss'' answers) in the successful recovery trajectories into decoupled revision and verification prompts, our approach concentrates training on both effective answer transformation and error identification. This approach enables efficient off-policy data generation and reduces the computational overhead of long-horizon sampling compared to standard multi-turn RL. On LiveCodeBench, using publicly available test cases as feedback, we observe gains of +6.5 points over the RL baseline and +4.0 points over standard multi-turn training. Beyond coding, our approach matches the previously reported SOTA result on circle packing while using the smallest base model (4B) and far fewer rollouts than the much larger evolutionary search systems. Math results under ground-truth verification further confirm improved correction ability. It also generalizes to out-of-distribution constraint-satisfaction puzzles such as n\_queens and mini\_sudoku, where correctness is defined entirely by problem constraints. Code is available at https://github.com/yxliu02/REVES.git.
• Abstract（参考訳）: 逐次リビジョンによるテスト時間のスケーリングは、Large Language Model (LLM)推論を強化するための強力なパラダイムとして登場した。 しかし、訓練後の標準的な手法は、主に単発目標を最適化し、多段階推論力学による基本的なミスアライメントを生み出す。 近年の研究では、これをマルチターン強化学習(Multi-turn reinforcement learning, RL)として扱うが、従来のアプローチでは、マルチステップの軌道を直接的に最適化し、モデルが修正から学べる中間ステップにおける高品質な誤りをさらに活用することができなかった。 本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 回復軌道の中間段階("Near-miss''の答え)を分離されたリビジョンと検証プロンプトに変換することにより,有効な解変換と誤り識別の両方のトレーニングに集中する。 このアプローチは, 従来のマルチターンRLと比較して, 効率的なオフポリシーデータ生成を可能にし, 長距離サンプリングの計算オーバーヘッドを低減する。 LiveCodeBenchでは、公開されているテストケースをフィードバックとして使用し、RLベースライン上の+6.5ポイント、標準マルチターントレーニング上の+4.0ポイントのゲインを観察します。 コーディング以外にも、我々のアプローチは、より大規模な進化的検索システムよりも最小のベースモデル(4B)とはるかに少ないロールアウトを使用しながら、以前報告したSOTA結果と円パッキングを比較した。 地上信頼度検証の数学結果はさらに改善された補正能力を確認した。 また、n\_queens や mini\_sudoku のような分布外制約-満足パズルにも一般化し、正しさは問題制約によって完全に定義される。 コードはhttps://github.com/yxliu02/REVES.gitで入手できる。

関連論文リスト

• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• JustRL: Scaling a 1.5B LLM with a Simple RL Recipe [45.42398283391072]
  単段トレーニングは、2つの1.5B推論モデルで最先端のパフォーマンスを達成する。 トレーニングは、通常介入を動機づける崩壊や台地を伴わない4000以上のステップに対して、滑らかで単調な改善を示す。
  論文  参考訳（メタデータ） (2025-12-18T15:21:25Z)
• Grokked Models are Better Unlearners [5.8757712547216485]
  グラクテッドチェックポイントから始めると、ずっと効率的に忘れられる。 ポストグロキングモデルは、左行と左行と左行の間の勾配の調整を減らして、よりモジュラーな表現を学習する。
  論文  参考訳（メタデータ） (2025-12-03T04:35:49Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Rewarding the Unlikely: Lifting GRPO Beyond Distribution Sharpening [36.81125165911328]
  強化学習は、言語モデルの推論能力を改善する主要な要因として現れています。 本稿では,現在の強化学習アルゴリズムが,すでに解いている問題に関するベースモデルの分布を単に研ぎ澄ましているだけかどうかを考察する。 差分報酬はランクバイアスを緩和し、合成定理と実定理の両方の証明設定において、多種多様な$N$でpass@N$を改善することを示す。
  論文  参考訳（メタデータ） (2025-06-03T01:15:15Z)
• Scaling Test-Time Compute Without Verification or RL is Suboptimal [70.28430200655919]
  RL法や検索法に基づく検証器ベース (VB) 手法による微調整は, 一定量の計算・データ予算を条件として, 蒸留・クローニングに基づく検証器フリー (VF) 手法よりもはるかに優れていることを示す。 我々は,3/8Bの事前学習型LLMのドクティクスと数学推論の両問題に対して,我々の理論を実証的に相関させ,テスト時間計算のスケーリングには検証が不可欠であることを確認した。
  論文  参考訳（メタデータ） (2025-02-17T18:43:24Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。