論文の概要: When All Rollouts Fail: Policy-Compatible Joint Decoding for Hard-Problem Reasoning

• arxiv url: http://arxiv.org/abs/2610.36849v1
• Date: Tue, 27 Oct 2026 08:47:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.547991
• Title: When All Rollouts Fail: Policy-Compatible Joint Decoding for Hard-Problem Reasoning
• Title（参考訳）: すべてのロールアウトが失敗したとき: ハードプロブレム推論のためのポリシーに適合したジョイントデコーディング
• Abstract要約: 我々は,難題に関する有用な学習信号が,現在の政策と十分に適合しているかどうかを検証し,検証しなくてはならないと論じる。 本稿では,分散制約付き共同復号を行うPICO(Policy-Reinforcement Learning)を提案する。 PICOは、標準のRLVRと以前のオフ政治ベースラインを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 20.292025417490738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) derives its learning signal from binary rewards via on-policy exploration and becomes a powerful paradigm for improving the reasoning of large language models. Yet it faces a learning cliff on problems beyond model's current ability: when every rollout fails, the samples reveal nothing about a correct solution, and group-relative estimators (e.g., GRPO, RLOO) collapse the update to zero advantage. Expert trajectories offer a remedy, but they are incompatible with the current policy and often lie in the student's low-probability regions, so the surviving updates demand large parameter shifts and decay into surface-level imitation rather than transferable reasoning. We argue that a useful learning signal on hard problems must be both verifiably correct and sufficiently compatible with the current policy. We propose Policy-Compatible Reinforcement Learning (PICO), which performs distribution-constrained joint decoding: expert data guides decoding at the token level while preserving the student's relative token probabilities, and a dynamic top-k mechanism confines the sampling distribution under a finite divergence budget, yielding trajectories that are verified and policy-compatible by construction. These trajectories are optimized jointly with on-policy rollouts under a mixed-behavior objective that mitigates their distribution mismatch via importance sampling. Experiments across reasoning diverse datasets and agentic benchmarks demonstrate that PICO consistently outperforms standard RLVR and prior off-policy baselines.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は、政治上の探究を通じて二項報酬から学習信号を導き出し、大きな言語モデルの推論を改善するための強力なパラダイムとなる。 すべてのロールアウトが失敗すると、サンプルは正しい解について何も明らかにせず、グループ相対推定器(例えば、GRPO、ROO)はゼロ・アドバンテージにアップデートを分解する。 専門家の軌道は治療を提供するが、それらは現在の方針とは相容れないため、しばしば学生の低確率領域にあるため、生き残った更新は、伝達可能な推論ではなく、大きなパラメータシフトと表面レベルの模倣を要求する。 我々は,難題に関する有用な学習信号が,現在の政策と十分に適合しているかどうかを検証し,検証しなくてはならないと論じる。 本稿では,学生の相対的トークン確率を保ちながらトークンレベルでの復号を指導する専門家データと,有限分散予算下でサンプリング分布を限定する動的トポ-k機構と,検証され,建設によってポリシーに適合する軌道を導出する,分散制約付き共同復号学習(PICO)を提案する。 これらの軌道は、重要サンプリングによる分布ミスマッチを緩和する混合行動目標の下で、オン・ポリティクス・ロールアウトと共同で最適化される。 さまざまなデータセットとエージェントベンチマークの推論に関する実験は、PICOが標準のRLVRと以前のオフポリティクスベースラインを一貫して上回っていることを示している。

関連論文リスト

• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• When Sharpening Becomes Collapse: Sampling Bias and Semantic Coupling in RL with Verifiable Rewards [20.896576101848655]
  本稿では,既存の知識を応用した強化学習が,新たな能力を引き出すのか,それとも単に知識の分布を絞るだけなのかを考察する。 本稿では,メモリネットワークを介したサンプリングの多様化を図るために,難解なクエリと分散レベルのキャリブレーションを優先する逆サクセス・アドバンス・キャリブレーションを提案する。
  論文  参考訳（メタデータ） (2026-01-22T03:15:57Z)
• Stochastic Path Planning in Correlated Obstacle Fields [1.8184089804625951]
  本研究では,不確実な状態の空間的相関障害を有するナビゲーション環境であるSCOS(Correlated Obstacle Scene)問題を紹介する。 我々は,ブロック確率を洗練させるベイズ的信念更新を開発し,その後部を用いて探索空間を効率よく削減する。 このフレームワークは、敵の割り込みやクラスタ化された自然災害のある環境でのナビゲーション上の課題に対処する。
  論文  参考訳（メタデータ） (2025-09-23T20:30:35Z)
• Not All Rollouts are Useful: Down-Sampling Rollouts in LLM Reinforcement Learning [55.15106182268834]
  検証可能な報奨付き強化学習(RLVR)が,大規模言語モデルにおける推論能力向上のための主要なアプローチとして登場した。 ロールアウト生成は恥ずかしく並列であり、メモリライトであるのに対して、ポリシー更新は通信量が多く、メモリ集約的である。 PODS(Policy Optimization with Down-Sampling)を導入し、戦略的に選択されたロールアウトサブセットでのみトレーニングすることで、ポリシー更新からロールアウト生成を分離する。
  論文  参考訳（メタデータ） (2025-04-18T17:49:55Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。