論文の概要: What Drives the Zero-to-One Jump? Diagnosing and Steering Hard-Prompt Learning in RLVR

• arxiv url: http://arxiv.org/abs/2611.02747v1
• Date: Mon, 02 Nov 2026 08:35:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:26:51.308122
• Title: What Drives the Zero-to-One Jump? Diagnosing and Steering Hard-Prompt Learning in RLVR
• Title（参考訳）: ゼロ・ツー・ワンジャンプの要因 : RLVRにおける診断と操りのハードプロンプト学習
• Abstract要約: Reinforcement Learning with Verifiable Rewards (RLVR) は数学的推論を大幅に改善したが、ハードプロンプトの進歩はしばしば停滞している。 この移行を駆動する理由と、それを操縦できるのか、という2つの質問を調査します。 成功した遷移に先立つ負のロールアウトは、最初期の生成エントロピーを継続的に維持し、ほぼ解決可能な故障と致命的な失敗を区別する。
• 参考スコア（独自算出の注目度）: 17.12607535579607
• License:
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has substantially improved mathematical reasoning, yet progress on hard prompts often stalls: a prompt can remain unsolved for many training steps before abruptly transitioning to solved--a discrete "zero-to-one" jump whose underlying dynamics and steerability remain poorly understood. We investigate two questions: what drives this transition, and can it be steered? Through event-based analysis measuring the time-to-first-positive (TTFP), we find that negative rollouts preceding successful transitions consistently retain higher early-stage generation entropy, distinguishing near-solvable failures from dead ends. This signal motivates NAPO (Negative-Augmented Policy Optimization), a method integrated with Group Relative Policy Optimization (GRPO) that ranks negatives in unsolved groups via an early-branching driver and assigns graded advantages, injecting informative gradients precisely where standard group-relative updates vanish. Under fixed rollout budgets, NAPO accelerates early solution discovery and improves Pass@256 by 10.0 points on AIME24 and 6.6 points on AIME2025, demonstrating that zero-to-one transitions are diagnosable and steerable through driver-guided negative learning. Our code is available at https://github.com/jameszhu-pixel-time/Z2O.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は、数学的推論を大幅に改善しているが、ハードプロンプトの進歩は、しばしば停滞している。 この移行を駆動する理由と、それを操縦できるのか、という2つの質問を調査します。 事象に基づくTTFP(Time-to-first- positive)の測定により、成功前の負のロールアウトが常に高い初期生成エントロピーを維持し、ほぼ解決可能な障害とデッドエンドを区別することがわかった。 このシグナルは、グループ相対ポリシー最適化(GRPO)と統合されたNAPO(Negative-Augmented Policy Optimization)を動機付け、未解決群の負を早期分岐ドライバを介してランク付けし、グレードの利点を割り当て、標準的なグループ相対的更新が消える正確な情報勾配を注入する。 一定のロールアウト予算の下で、NAPOは早期ソリューション発見を加速し、AIME2025でPass@256を10.0ポイント、AIME2025で6.6ポイント改善する。 私たちのコードはhttps://github.com/jameszhu-pixel-time/Z2O.comで利用可能です。

関連論文リスト

• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• Locked at the Entrance, Open Inside: Where RLVR Narrows the Solution Space [4.5020776401286415]
  検証可能な報酬(RLVR)による強化学習は、シングルサンプル精度(pass@1)を大幅に改善するが、ポリシーのソリューションスペースを契約させる。 本研究では,この幅が失われる理由として,その内部の軌跡について検討する。
  論文  参考訳（メタデータ） (2026-08-29T10:46:57Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Rollout Pass-Rate Control: Steering Binary-Reward RL Toward Its Most Informative Regime [28.346931878148524]
  Prefix Sampling (PS)は、自己生成した軌跡の接頭辞を再生し、スキュードグループをこの体制に向けて操る。 PSは評価変数のベースラインのハイスコア状態に達し、2.01xと1.55xのエンドツーエンドのウォールクロックスピードアップを提供する。 AIME 2025は4Bと8Bで同じパスレート制御パターンを示した。
  論文  参考訳（メタデータ） (2026-05-06T16:44:38Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
  強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-25T01:54:50Z)
• PROPA: Toward Process-level Optimization in Visual Reasoning via Reinforcement Learning [30.44007644340425]
  本稿では,モンテカルロ木探索 (MCTS) とGRPOを統合した新しいフレームワーク PROPA について紹介する。 7つのベンチマークと4つのVLMバックボーンで、PROPAはSFTとRLVRベースのベースラインを一貫して上回っている。 ドメイン内タスクで最大17.0%、ドメイン外タスクで最大21.0%のゲインを達成する。
  論文  参考訳（メタデータ） (2025-11-13T13:06:12Z)
• Harnessing Uncertainty: Entropy-Modulated Policy Gradients for Long-Horizon LLM Agents [24.972357127546772]
  エントロピー変調政策勾配(Entropy-Modulated Policy Gradients, EMPG)は、段階的不確実性と最終課題結果に基づいて学習信号を再分類するフレームワークである。 EMPGは、確実な正しい行動の更新を増幅し、確実なエラーをペナルティ化し、探索を安定させるために不確実なステップからの更新を減衰する。
  論文  参考訳（メタデータ） (2025-09-11T08:50:01Z)
• Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation [85.22775182688798]
  この研究はAlpha-Refineと呼ばれる新しい、柔軟で正確な改良モジュールを提案する。 これにより、ベーストラッカーのボックス推定品質が大幅に向上する。 TrackingNet, LaSOT, GOT-10K, VOT 2020 ベンチマークの実験では,我々のアプローチがベーストラッカのパフォーマンスを大幅に改善し,遅延がほとんどなかった。
  論文  参考訳（メタデータ） (2020-12-12T13:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。