論文の概要: Locked at the Entrance, Open Inside: Where RLVR Narrows the Solution Space

• arxiv url: http://arxiv.org/abs/2608.29188v1
• Date: Sat, 29 Aug 2026 10:46:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.871068
• Title: Locked at the Entrance, Open Inside: Where RLVR Narrows the Solution Space
• Title（参考訳）: RLVRがソリューションの空間を狭める場所
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、シングルサンプル精度(pass@1)を大幅に改善するが、ポリシーのソリューションスペースを契約させる。 本研究では,この幅が失われる理由として,その内部の軌跡について検討する。
• 参考スコア（独自算出の注目度）: 4.5020776401286415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) substantially improves single-sample accuracy (pass@1) but causes the policy's solution space to contract, diminishing the returns of test-time scaling. In this work, we investigate where inside a reasoning trajectory this breadth is lost: does the policy fail to access a valid solution family, or does it fail to execute computation once initiated? To disentangle access from execution, we analyze the Countdown task, whose solution space can be exhaustively enumerated into discrete entrance families defined by the first operand and operator, across PPO on Qwen2.5-3B and GRPO on Qwen2.5-3B-Instruct. Across both training setups, solution coverage falls by up to 67%, halving even on problems solved across all checkpoints. We show that this contraction is heavily concentrated at the entrance: per-token likelihood shifts are 11x--16x larger prior to the first arithmetic operation than during downstream reasoning. Supplying only an unselected entrance prefix restores completion rates in low-access families by over an order of magnitude (0.018 -> 0.212 under PPO), demonstrating that alternative solutions remain executable but are no longer initiated. Guided by this localization, we find that while surface prompting fails to recover diversity, entrance-targeted interventions succeed: late-layer parameter interpolation with early checkpoints increases solution coverage by 37% at no loss in pass@1. Finally, we show that early-step entropy collapse recurs across six math benchmarks with 7B and 14B models, but is not an inevitable byproduct of reasoning optimization: an SFT baseline preserves more than double the coverage, and staged SFT--DPO--RLVR pipelines retain early-step entropy. In summary, reasoning breadth is lost at the door, not inside the room. Code: https://github.com/ershiyidian/early-branch-locking.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、シングルサンプルの精度(pass@1)を大幅に向上するが、ポリシのソリューションスペースを収縮させ、テストタイムスケーリングのリターンを低下させる。 本研究では、この幅の広さを推論する軌道の中で、ポリシーが有効なソリューションファミリにアクセスするのに失敗するのか、それとも一度計算を開始するのに失敗するのかを調査する。 本研究では,Qwen2.5-3B 上の PPO と Qwen2.5-3B-Instruct 上の GRPO にまたがる,第1のオペランドと演算子によって定義された個別の入口ファミリーに解空間を包括的に列挙できるCountdown タスクを解析する。 どちらのトレーニングセットアップでも、ソリューションカバレッジは最大67%減少し、すべてのチェックポイントで解決された問題でも半分になる。 この収縮は入口に強く集中していることを示し、第1の算術演算よりも下流の推論よりも11x--16倍大きい確率シフトを示す。 選択されていない入場プレフィックスのみを供給することで、低アクセスファミリーの完了率を桁違い(0.018 ->0.212)復元し、代替ソリューションが実行可能であるが、もはや開始されないことを示す。 このローカライゼーションにより、表面のプロンプトは多様性の回復に失敗するが、入り口をターゲットとした介入は成功している: 早期チェックポイントによる後期層パラメータ補間は、pass@1が失われることなく、ソリューションカバレッジを37%増加させる。 最後に,7Bモデルと14Bモデルを用いた6つのベンチマークベンチマークにおいて,早期段階のエントロピー崩壊が再帰することを示した。 まとめると、部屋の内側ではなくドアで幅の幅が失われる。 コード:https://github.com/ershiyidian/early-branch-locking。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• SUTURE: Syndrome-Guided Repair for Segmented Feasibility-Preserving VQAs on Noisy Hardware [2.247694541566899]
  制約付きバイナリ最適化は、スケジューリング、リソース割り当て、ファイナンスにおけるNPハード問題の代表クラスである。 SuTURE: syndrome-guided repairは,非実現不可能な測定を破棄せずに修正するランタイムである。 120キュービットまでのシミュレーションにおいて、SUTUREは浄化が崩壊するノイズレベルを超えて実行チェーンを継続する。
  論文  参考訳（メタデータ） (2026-09-12T13:30:46Z)
• Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
  検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。 我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
  論文  参考訳（メタデータ） (2026-07-31T19:05:43Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• WARP: A Benchmark for Primal-Dual Warm-Starting of Interior-Point Solvers [0.3058685580689604]
  成長する仕事の体は、機械学習を使って原始的なウォームスタートのイテレーションを予測し、30-46%の減少を報告している。 これらの報告は不適切な評価基準に当てはまることを示す。 実験により、完全原始二重バリア状態 $(x*, *, z*, *)$ はIPOPTイテレーションを 23 から 3 に減少させる。
  論文  参考訳（メタデータ） (2026-05-07T06:19:16Z)
• Rollout Pass-Rate Control: Steering Binary-Reward RL Toward Its Most Informative Regime [28.346931878148524]
  Prefix Sampling (PS)は、自己生成した軌跡の接頭辞を再生し、スキュードグループをこの体制に向けて操る。 PSは評価変数のベースラインのハイスコア状態に達し、2.01xと1.55xのエンドツーエンドのウォールクロックスピードアップを提供する。 AIME 2025は4Bと8Bで同じパスレート制御パターンを示した。
  論文  参考訳（メタデータ） (2026-05-06T16:44:38Z)
• TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
  トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。 NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
  論文  参考訳（メタデータ） (2025-11-12T23:09:52Z)
• Causal flow preserving optimisation of quantum circuits in the ZX-calculus [0.0]
  本稿では,非クリフォードゲート数と2ビットゲート数の最小化を目的とした最適化アルゴリズムを提案する。 回路をZXダイアグラムに変換することで、回路に戻る前に単純化することができる。 QFT回路を最適化するための特に効果的な戦略も注目されており、非クリフォードゲートに対して正確に1つの2ビットゲートとなる。
  論文  参考訳（メタデータ） (2023-12-05T14:24:44Z)
• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Provably Efficient Safe Exploration via Primal-Dual Policy Optimization [105.7510838453122]
  制約付きマルコフ決定過程(CMDP)を用いた安全強化学習(SRL)問題について検討する。 本稿では,関数近似設定において,安全な探索を行うCMDPの効率の良いオンラインポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。