論文の概要: Adaptive Decoding Methods for Token-Efficient Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.25860v1
• Date: Mon, 19 Oct 2026 06:13:38 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:14:39.654999
• Title: Adaptive Decoding Methods for Token-Efficient Reinforcement Learning
• Title（参考訳）: トークン効率の良い強化学習のための適応的復号法
• Abstract要約: ロールアウト復号化は、報酬付き強化学習に使用される軌道と、それら収集に費やされる完了トークンの数の両方に影響する。 本研究は, サンプリング効率の観点から, ロールアウトトレーニング中に, 候補者支援が継続するか, 幅を広げるべきかを検討する。
• 参考スコア（独自算出の注目度）: 9.609341184130079
• License:
• Abstract: Rollout decoding affects both which trajectories are used for reinforcement learning with verifiable rewards (RLVR) and how many completion tokens are spent collecting them. We study whether candidate-token support should remain fixed or widen during training in the context of rollout sampling efficiency. Our main schedule moves from top-K=10 to K=20 and then to full support as the attempted-token budget increases. In a 4B code-RLVR setting, the schedule has a higher interpolated 150M-token validation value than its matched fixed-K=10 continuation in all three runs, with a mean gain of $1.80{\pm}0.42$ points. The schedule also performs comparably to a separately trained fixed-K=20 baseline, the strongest fixed-support setting in our sweep. Follow-up experiments suggest that late widening to full support is the most promising variant, although the evidence remains noisy, and mixed-reward-group diagnostics do not clearly explain the gain. An exploratory single-run test replay yields identical point estimates for the schedule and fixed $K=10$. Overall, our results show that rollout support is an important control for sampling efficiency in RLVR and motivate further study of adaptive support schedules.
• Abstract（参考訳）: ロールアウト復号化は、検証可能な報酬(RLVR)による強化学習に使用される軌道と、それら収集に費やされる完了トークンの数の両方に影響を及ぼす。 本研究は, ロールアウトサンプリング効率の観点から, トレーニング中, 候補者支援が継続するか, 幅を広げるべきかを検討する。 主なスケジュールは、トップK=10からK=20に移行し、そして、試行錯誤の予算が増加するにつれて、完全なサポートへと移行します。 4Bのコード-RLVR設定では、スケジュールは3回のランで一致した固定K=10継続よりも1.80{\pm}0.42$ポイント高い補間された150Mトークンの検証値を持つ。 スケジュールは、別々に訓練された固定K=20ベースラインと同等に動作します。 フォローアップ実験は、完全なサポートへの遅れの拡大が最も有望な変種であることを示しているが、証拠はうるさいままであり、混合回帰群診断は、その利益をはっきりと説明していない。 探索的な単一実行テストリプレイでは、スケジュールの同じ点推定値が得られ、固定された$K=10$が与えられる。 以上の結果から,RLVRにおけるロールアウトサポートはサンプリング効率を向上するための重要なコントロールであり,適応型サポートスケジュールのさらなる研究を動機付けていることがわかった。

関連論文リスト

• Policy-Adaptive Credit Assignment for Spatial Reasoning with Verifiable Rewards [4.791233143264229]
  本研究では,SpatialTraceがサポートする適応型プロセス・リワードフレームワークであるCALIPERを提案する。 CALIPERは、段階的参照カバレッジとグループ内リッジ回帰による回答正解の関係を共同で推定する。 解答識別グループが少ない場合、ユーティリティ推定は信頼性が低いため、クローズドループハーネスは、チェックポイントロールバック、ロールアウト多様化、早期停止を誘導するための推定器の信頼性と検証性能を監視する。
  論文  参考訳（メタデータ） (2026-10-19T13:45:42Z)
• Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
  検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。 我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
  論文  参考訳（メタデータ） (2026-07-31T19:05:43Z)
• SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
  自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。 自己検証を計算制御ポリシとして使用することを学ぶ。 マクロ平均精度は0.563で、平均で2.99回しか推測できない。
  論文  参考訳（メタデータ） (2026-07-30T16:20:58Z)
• Learning as Reasoning Unfolds: Progressive Rollout Allocation for Efficient Reinforcement Learning [23.987185167160117]
  可変ガイドオンラインロールアウトアロケーション(VIGOR) 可変ガイドオンラインロールアウトアロケーション(VIGOR) 可変ガイドオンラインロールアウトアロケーション(VIGOR)
  論文  参考訳（メタデータ） (2026-07-24T06:04:04Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• When Self-Belief Misleads: Active Label Acquisition for Reinforcement Learning with Verifiable Rewards [49.25249414962884]
  能動検証リワードを用いた強化学習(RLAVR)を提案する。 RLAVRは、少数のサンプルの接地木ラベルを積極的に取得し、擬似ラベルと統合する。 これに基づいて、RLAVR(CARE)の補正認識信頼性推定を導入する。
  論文  参考訳（メタデータ） (2026-05-25T13:55:12Z)
• Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。 トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。 6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
  論文  参考訳（メタデータ） (2026-02-09T10:51:58Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• Masked-and-Reordered Self-Supervision for Reinforcement Learning from Verifiable Rewards [13.064343544668283]
  MR-RLVR(Masked-and-Reordered RLVR)を提案する。 MR-RLVRをQwen2.5-3BとDeepSeek-R1-Distill-Qwen-1.5Bで実装し,AIME24,AIME25,AMC23,MATH500で評価した。
  論文  参考訳（メタデータ） (2025-11-21T18:23:04Z)
• BroRL: Scaling Reinforcement Learning via Broadened Exploration [88.69554867685243]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルにおいて複雑な推論能力を解き放つ鍵となる要素として登場した。 最近のProRLは、トレーニングステップの数を増やすことで、RLのスケーリングを約束している。 RL, BroR-Lineasing the followingary paradigm for scaling RL, BroR-Lincreasing the rollouts per example to hundreds。
  論文  参考訳（メタデータ） (2025-10-01T17:59:02Z)
• Is Less More? Exploring Token Condensation as Training-free Test-time Adaptation [43.09801987385207]
  対照的に、CLIP(Contrastive Language- Image Pretraining)は、一般化可能な画像表現の学習において優れているが、特定のデータセットのゼロショット推論では不足することが多い。 テスト時間適応(TTA)は、正規化レイヤやコンテキストプロンプトなどのコンポーネントを調整することでこの問題を軽減するが、通常は大きなバッチサイズと広範な拡張を必要とする。 本稿では,TCA(Token Condensation as Adaptation)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T07:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。