論文の概要: Training-Free Prompt Selection for Efficient Reinforcement Learning With Partial Rollouts

• arxiv url: http://arxiv.org/abs/2610.24229v1
• Date: Fri, 16 Oct 2026 20:50:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:05:58.585612
• Title: Training-Free Prompt Selection for Efficient Reinforcement Learning With Partial Rollouts
• Title（参考訳）: 部分ロールアウトによる効率的な強化学習のための訓練不要なプロンプト選択
• Abstract要約: LIFTはトレーニング不要のデータセレクタで、部分的な推論ロールアウトのみを使用して影響のあるプロンプトを特定する。 選択コストを3.7-9.1$times$に削減し、競争力のある下流RLVR性能を実現した。
• 参考スコア（独自算出の注目度）: 16.76351534131933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has emerged as a prominent paradigm for training reasoning models, but its computational cost makes efficient data selection increasingly important. Since training examples contribute unequally to learning, selecting a small, informative subset can offer a more efficient alternative to using the entire data pool. The training-free selection method estimates prompt value with hidden states from complete greedy rollouts. However, in our datasets, $26$--$32\%$ of these rollouts fail to terminate within the generation budget. We introduce LIFT, a training-free data selector that identifies impactful prompts using only partial reasoning rollouts. At its core, LIFT uses Partial Rollout Context Lift (PRCL), a score inspired by pointwise $\mathcal{V}$-information that accumulates token-level log-likelihood ratios between a question-conditioned context and a null context with the question removed. This enables prompt scoring from a short rollout prefix rather than a complete trajectory. Across Qwen2.5-Math-1.5B and DeepSeek-R1-Distill-1.5B, prefixes retaining at least 90\% and 95\% of the full-rollout PRCL score, respectively, require only 26\% and 4.7\% of the tokens generated by full rollouts. Compared with SHIFT, LIFT reduces selection cost by 3.7--9.1$\times$ while achieving competitive downstream RLVR performance, with the highest six-benchmark average in three of six settings.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、推論モデルのトレーニングにおいて顕著なパラダイムとして登場したが、その計算コストは、効率的なデータ選択をますます重要にしている。 トレーニング例は学習に不平等に寄与するため、小さな情報サブセットを選択することで、データプール全体を使用するより効率的な代替手段を提供することができる。 トレーニング不要選択法は、完全グリーディロールアウトから隠れ状態でプロンプト値を推定する。 しかしながら、私たちのデータセットでは、これらのロールアウトのうち26ドル-32ドル%は、世代予算内で終了できません。 我々は、部分的推論ロールアウトのみを使用して影響のあるプロンプトを識別する、トレーニング不要なデータセレクタであるLIFTを紹介する。 LIFTのコアとなるのはPartial Rollout Context Lift (PRCL) である。これはポイントワイズ$\mathcal{V}$-informationにインスパイアされたスコアで、質問条件付きコンテキストと質問を取り除いたnullコンテキストの間のトークンレベルのログライクな比率を蓄積する。 これにより、完全な軌道ではなく、短いロールアウトプレフィックスからの迅速なスコアリングが可能になる。 Qwen2.5-Math-1.5B と DeepSeek-R1-Distill-1.5B にまたがって、フルロールアウトのPRCLスコアの少なくとも 90 % と 95 % を保持するプレフィックスは、フルロールアウトによって生成されるトークンの26 % と 4.7 % しか必要としない。 ShiFTと比較すると、LIFTは選択コストを3.7-9.1$\times$に削減し、競争力のある下流RLVR性能を実現し、6つの設定のうち最高6ベンチマーク平均を達成している。

関連論文リスト

• MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis [100.96630913587752]
  我々は,データセットの有効性を問題,目標方針,トレーニングロールアウト予算の関数として実験的に評価した。 我々は、広く使われているRLVRデータセットからプールされた大規模なオープンソースの数学コーパスが、ほぼ完全にゼロアドバンテージトラップに陥ることを示します。 我々はMagicBeanStalkを紹介した。これはトップダウンの分解とボトムアップのデータ合成アルゴリズムで、種子問題を実質的に新しい、ポリシーと予算を基準としたトレーニング問題のファミリーに成長させる。
  論文  参考訳（メタデータ） (2026-10-08T19:25:48Z)
• CircuitLens: Reasoning Circuits as Data Selection Signals for Reinforcement Learning with Verifiable Rewards [9.41727721095383]
  サーキット推論スコア (Circuit Reasoning Score, CRS) は46個のアテンションヘッドから導出される選択信号である。 CRSは、より強い推論と回路のエンゲージメントがより良いトレーニングデータを生成するという直感的な仮説に逆らう。
  論文  参考訳（メタデータ） (2026-09-07T08:14:26Z)
• RCAP: Robust, Class-Aware, Probabilistic Dynamic Dataset Pruning [4.215168690973054]
  本稿では,ロバスト,クラスアウェア,確率的動的データセット解析アルゴリズム RCAP を提案する。 RCAPは、最先端のデータセットプルーニング手法を一貫して上回り、すべてのプルーニングレートにおいて、最悪のグループ精度を向上する。
  論文  参考訳（メタデータ） (2026-06-10T07:37:01Z)
• HARP: Efficient Data Selection for Finetuning Large Language Models [17.765191025899252]
  データ選択の微調整には、2つの競合する目標のバランスが必要だ。 提案する階層型アクティブ・リージョン・プルーニング(HARP, Hierarchical Active Region Pruning)は, 選択コストを低減しつつ下流のアライメントを維持する効率的な列車ベースセレクタである。
  論文  参考訳（メタデータ） (2026-06-05T06:31:43Z)
• BASIS: Batchwise Advantage Estimation from Single-Rollout Information Sharing for LLM Reasoning [9.698479933114552]
  既存のアルゴリズムは、値推定とポリシー学習における計算効率とサンプル効率のトレードオフに直面している。 このトレードオフに対処するために,ポストフリーな批判アルゴリズムを導入する。 実験では、REINFORCE++と比較して、値関数推定のMSEを69%削減している。
  論文  参考訳（メタデータ） (2026-05-26T17:06:41Z)
• Full Attention Strikes Back: Transferring Full Attention into Sparse within Hundred Training Steps [12.944531570933854]
  大規模言語モデルにおける長文推論は、注意の2次コストによってボトルネックとなる。 フルアテンション LLM は本質的にスパースであり,最小限の適応しか持たない高度スパースモデルに変換可能であることを示す。 RTPurboは、モデル固有のスパーシリティを活用することで、わずか数百のトレーニングステップでスパーシフィケーションを実現する。
  論文  参考訳（メタデータ） (2026-05-16T10:51:58Z)
• Hard Negatives, Hard Lessons: Revisiting Training Data Quality for Robust Information Retrieval with LLMs [53.78110936809744]
  堅牢で再帰的なモデルのトレーニングは通常、大規模なデータセットに依存します。 トレーニングデータセットにおいて、偽陰性を識別し、許容する。 トレーニングデータセットとコードは公開されています。
  論文  参考訳（メタデータ） (2025-05-22T17:47:57Z)
• Compute-Constrained Data Selection [77.06528009072967]
  多くの強力なデータ選択手法は、ほとんど計算に最適ではないことが分かりました。 計算最適トレーニングでは、パープレキシティと勾配データ選択は、それぞれ5xと10xのトレーニング-選択モデルサイズ比を必要とする。
  論文  参考訳（メタデータ） (2024-10-21T17:11:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。