論文の概要: LEEPS: Latent-Guided Explore-Exploit Prompt Sampling for Efficient RLVR in Large Language Models

• arxiv url: http://arxiv.org/abs/2607.28077v1
• Date: Thu, 30 Jul 2026 11:50:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.544085
• Title: LEEPS: Latent-Guided Explore-Exploit Prompt Sampling for Efficient RLVR in Large Language Models
• Title（参考訳）: LEEPS: 大規模言語モデルにおける効率的なRLVRのための潜時ガイド探索型プロンプトサンプリング
• Authors: Shuang Liang, Haoyang Zhou, Yifan Gong, Guowei Wang, Xiting Wang,
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデルの推論能力を向上させる。 既存の事前ロールアウト手法は、エクスプロイトと探索のバランスをとるのに苦労する。 LEEPS(Latent-Guided Explore--Exploit Prompt Sampler)を紹介する。
• 参考スコア（独自算出の注目度）: 21.28794880416211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) improves the reasoning capabilities of large language models, but prompt groups with identical rollout rewards consume generation budget without effective learning signals. Pre-rollout prompt selection can reduce this waste by screening prompts before rollout generation. However, existing pre-rollout methods struggle to balance exploitation and exploration: repeatedly exploiting historically informative prompts can narrow training coverage, whereas broader exploration can lower the fraction of informative prompts. To address these limitations, we introduce LEEPS, a Latent-Guided Explore--Exploit Prompt Sampler that adaptively balances the reuse of previously observed informative prompts with continued exploration of uncertain ones. LEEPS partitions candidates into exploit and explore portfolios and adaptively allocates rollout budget according to their recent non-trivial ratios. It further uses representation-space neighbors and historical rollout outcomes to prioritize uncertain prompts likely to yield non-zero reward variance, thereby making exploration more targeted without additional rollouts. Across six mathematical reasoning benchmarks, LEEPS achieves the highest average score at both model scales, with relative gains of 2.6\% and 3.7\% over the strongest baseline for Qwen2.5-Math-1.5B and 7B, respectively, and generally improves faster during the training process. It also achieves the highest average score across the three evaluated OOD general-reasoning benchmarks at both model scales and adds only about 2 seconds of online sampling overhead per training step. Code is available at https://github.com/ShuangLiangX/LEEPS.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を向上させるが、同一のロールアウト報酬を持つグループは効果的な学習信号なしで生成予算を消費する。 ロールアウトプロンプト選択は、ロールアウト生成前のプロンプトをスクリーニングすることで、このムダを削減することができる。 しかし、既存の事前学習手法は、エクスプロイトと探索のバランスをとるのに苦労している: 歴史的に情報的プロンプトを何度も活用することは、訓練範囲を狭めることができる一方、より広範な探索は、情報的プロンプトの少なさを減らすことができる。 これらの制約に対処するため,LEEPS(Latent-Guided Explore--Exploit Prompt Sampler)を導入する。 LEEPSは、候補者を搾取してポートフォリオを探索し、最近の非自明な比率に応じてロールアウト予算を適応的に割り当てる。 さらに、表現空間の隣人や歴史的なロールアウトの結果を利用して、不確実なプロンプトが非ゼロ報酬の分散をもたらす可能性があることを優先順位付けし、追加のロールアウトなしで探索をより標的にしている。 6つの数学的推論ベンチマークで、LEEPSは両方のモデルスケールで最高スコアを達成し、それぞれQwen2.5-Math-1.5Bと7Bのベースラインに対して2.6\%と3.7\%の相対的なゲインを達成し、トレーニングプロセスの速度が向上する。 また、両方のモデルスケールで評価された3つのOOD総合推論ベンチマークの平均スコアを達成し、トレーニングステップあたりのオンラインサンプリングオーバーヘッドを約2秒追加するのみである。 コードはhttps://github.com/ShuangLiangX/LEEPSで入手できる。

関連論文リスト

• ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning [75.26064451955199]
  ExTraは、モデル自身のロールアウトから探索信号を抽出するフレームワークである。 GRPO上でQwen3-1.7Bをpass@1で約5ポイント、pass@16で+7ポイント改善する。
  論文  参考訳（メタデータ） (2026-06-23T15:51:39Z)
• Prune as You Generate: Online Rollout Pruning for Faster and Better RLVR [78.88799271719365]
  本稿では,オンラインロールアウトプルーニング手法であるarrol(オンラインロールアウトプルーニングによるRLVRの高速化)を紹介する。 Arrolは軽量なクオリティヘッドをオンザフライでトレーニングし、部分的なロールアウトの成功確率を予測する。 Qwen-3とLLaMA-3.2のGRPOとDAPO全体で、アロールは平均精度を+2.30から+2.99に改善し、最大1.7倍のトレーニングスピードアップを達成する。
  論文  参考訳（メタデータ） (2026-03-25T22:10:36Z)
• Prompt replay: speeding up grpo with on-policy reuse of high-signal prompts [0.0]
  検証可能な報酬(RLVR)による強化学習は推論能力の拡大に重要な役割を担っているが、GRPOスタイルのトレーニングは高価なロールアウトと使い捨てのプロンプトで計算される無駄に支配されている。 本稿では,GRPO のオーバヘッドフリーなオンラインデータ選択手法である Prompt Replay を提案する。
  論文  参考訳（メタデータ） (2026-03-22T11:39:51Z)
• Explore Data Left Behind in Reinforcement Learning for Reasoning Language Models [61.78513830395669]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデル(LLM)の推論能力向上に有効な手法として登場した。 モデルがより長く、規模が大きくなるにつれて、トレーニングのプロンプトは残余のプロンプトになる。 政策最適化フレームワークにおける探索的残留確率(Explore Residual Prompts in Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2025-11-06T20:40:27Z)
• Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration [33.02780998281276]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善した。 本研究は,RLVRにおけるデータ効率の向上に本質的なデータ特性の活用,すなわちトレーニング中のほぼ自由な利益をいかに生かすかを検討する。
  論文  参考訳（メタデータ） (2025-11-02T04:16:47Z)
• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• Breaking the Exploration Bottleneck: Rubric-Scaffolded Reinforcement Learning for General LLM Reasoning [46.610146536866445]
  大規模言語モデル(LLM)は、推論能力の出現を促進するために強化学習(RL)の可能性を強調している。 本稿では,一般的な推論のための探索ボトルネックを解消するために,Scaffolded Reinforcement Learning (RuscaRL)を提案する。 我々は、RuscaRLがQwen2.5-7B-InstructをHealthBench-500で23.6から50.3に大幅に向上し、GPT-4.1を上回っていることを示した。
  論文  参考訳（メタデータ） (2025-08-23T08:47:31Z)
• Act Only When It Pays: Efficient Reinforcement Learning for LLM Reasoning via Selective Rollouts [28.17839625646103]
  ロールアウト前に非形式的なプロンプトをスキップすることで,計算オーバーヘッドのかなりの部分が回避可能であることを示す。 我々は,非形式的プロンプトを予測・スキップするオンライン軽量プリロールアウトフィルタリングアルゴリズムであるGRESOを提案する。 GRESOは, ロールアウト時に最大2.4倍, トレーニング時間全体で最大2.0倍の高速化を達成でき, 精度は低下しない。
  論文  参考訳（メタデータ） (2025-06-02T19:03:00Z)
• NoisyRollout: Reinforcing Visual Reasoning with Data Augmentation [66.36912000442608]
  NoisyRolloutは単純だが効果的なデータ拡張手法である。 きれいで適度に歪んだ画像からトレーニングの軌跡を混ぜる。 オープンソースのRLチューニングモデル間の最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-04-17T16:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。