論文の概要: Beyond Policy Rollouts: Embedding-Space Directional Exploration with Anchored Noise for LLM RLVR

• arxiv url: http://arxiv.org/abs/2610.16105v1
• Date: Mon, 12 Oct 2026 03:13:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 07:40:18.241783
• Title: Beyond Policy Rollouts: Embedding-Space Directional Exploration with Anchored Noise for LLM RLVR
• Title（参考訳）: ポリシーのロールアウトを超えて - LLM RLVRのためのアンカレッドノイズを用いた埋め込み空間指向探索
• Abstract要約: 検証可能な報酬を持つ強化学習は通常、プロンプト毎に小さなロールアウトグループを使用する。 我々は,アンカー付き入力摂動によりロールアウト源に干渉するEDEN(Embedding-space Directional Exploration via anchored Noise)を提案する。
• 参考スコア（独自算出の注目度）: 26.741445807383098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) typically uses small rollout groups per prompt, where repeated sampling from the same policy can yield highly similar trajectories, reducing within-group reward variation and weakening group-relative advantage signals. Existing remedies such as higher sampling temperature, entropy bonuses, asymmetric clipping, and larger rollout budgets broaden sampling or modify policy updates but leave rollout conditioning unchanged. In this paper, we propose EDEN (Embedding-space Directional Exploration via anchored Noise), which intervenes at the rollout source through anchored input perturbations. EDEN explores beyond the policy's own rollouts. Within the same rollout budget, it replaces a small fraction of standard rollouts in each group with rollouts that the same policy generates from the prompt plus a single appended, perturbed embedding position, rather than from the prompt alone. Gaussian noise drives variation, while a shared anchor provides a common conditioning direction within each prompt group. Selected perturbed rollouts contribute to GRPO updates with downweighted advantages, and the model architecture, discrete decoding, and test-time inference remain unchanged. Across model scales and mathematical reasoning benchmarks, EDEN outperforms GRPO and the exploration controls evaluated in the same pipeline, with the largest gains in sampled solution coverage. Analyses show that more prompt groups provide non-zero group-relative learning signals and that noise and anchoring play complementary roles. Intervening at the rollout source is thus an effective lever for exploration in RLVR.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は典型的には、1プロンプトごとに小さなロールアウトグループを使用し、同じポリシーからの繰り返しサンプリングによって非常に類似した軌道が得られ、グループ内報酬の変動が減少し、グループ相対優位信号が弱まる。 サンプリング温度、エントロピーボーナス、非対称クリッピング、より大きなロールアウト予算などの既存の改善策は、サンプリングやポリシー更新を拡大するが、ロールアウト条件は変更されない。 本稿では,アンカー付き入力摂動によりロールアウト源に介在するEDEN(Embedding-space Directional Exploration via anchored Noise)を提案する。 EDENは、ポリシーのロールアウトを超えて調査する。 同じロールアウト予算内では、各グループの標準ロールアウトのごく一部を、プロンプトから同じポリシーが生成するロールアウトに置き換える。 ガウスノイズは変動を駆動し、共有アンカーは各プロンプト群内で共通の条件付け方向を提供する。 選択された摂動ロールアウトは、低いアドバンテージを持つGRPO更新に寄与し、モデルアーキテクチャ、離散デコード、テスト時間推論は変わらない。 モデルスケールと数学的推論ベンチマーク全体にわたって、EDENはGRPOと同一パイプラインで評価された探索制御を上回り、サンプリングされたソリューションカバレッジで最大の利益を得ている。 分析により、より急進的なグループが非ゼログループ関連学習信号を提供し、ノイズとアンカーが相補的な役割を担っていることが示された。 したがって、ロールアウト源への介入は、RLVRでの探索に有効なレバーとなる。

関連論文リスト

• Hierarchical Credit Assignment for RLVR on Fused Gromov-Wasserstein Geometry [64.0939888069956]
  本稿では,グループベースRLVR手法の階層的信用割当手法(HarA)を提案する。 HarAはRLVR中に意味的に新しい推論行動を特定し、促進する。 実験の結果,プラグイン・アンド・プレイ方式は大規模言語モデルの探索を効果的に促進することがわかった。
  論文  参考訳（メタデータ） (2026-10-03T07:11:02Z)
• Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT [3.293184808542474]
  エージェント型大規模言語モデルに対する批判のない強化微調整(RFT)は、GRPOスタイルの手法によって行われることが多い。 批判のないポリシー学習アルゴリズムであるtextitFollow the Winners (FTW) を提案する。 FTWは、グループロールアウトをリプレイバッファサンプルの順序付きフィルタに置き換え、リターンの順序統計で濃度を得る。
  論文  参考訳（メタデータ） (2026-10-02T14:24:06Z)
• Process Reward Informed Tree Rollout for Effective Multi-Turn RL [58.392997761968566]
  長期のエージェントタスクでは、均一なロールアウト戦略は、非形式的なデッドエンドの試みに予算を無駄にする可能性がある。 本稿では,マルチターンエージェントRLの品質を意識したロールアウトフレームワークであるProcess-Scorer Guided Adaptive Tree Rollout (PATR)を提案する。 PATRはタスクに適したプロセスフィードバックを使用して部分的軌跡をスコアし、将来性のある状態から選択的に分岐し、共有プレフィックスを再利用し、無駄なサンプリングを減らすために経路を保守的に停止する。
  論文  参考訳（メタデータ） (2026-07-17T04:16:58Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Where Rollouts Begin: Low-Load, High-Leverage First-Token Diversification for RLVR [6.149635000057214]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、ラベル付き軌跡のないモデル推論を訓練する。 RLVRでは、ロールアウトの多様性が中心的なボトルネックとなっている。 本稿では,REFT(Rollout Exploration with First-Token Diversification)を紹介する。REFT(Rollout Exploration with First-Token Diversification)は,RLVRパイプラインの軽量化で,ポリシの上位N$候補からファーストトークンを均一にサンプリングする。
  論文  参考訳（メタデータ） (2026-05-27T10:46:01Z)
• Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards [69.74686029941881]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善するための効果的なパラダイムである。 トレーニングを通して高価値ロールアウトを適応的に選択する統合型ニューラルネットワークスケジューリングフレームワークを提案する。 6つの数学的推論ベンチマークの実験では、複数のRLVR最適化手法で性能と訓練効率が一貫した向上を示した。
  論文  参考訳（メタデータ） (2026-02-09T10:51:58Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
  本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。 複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-10-02T12:57:12Z)
• Random Latent Exploration for Deep Reinforcement Learning [71.88709402926415]
  RLE(Random Latent Exploration)は、強化学習における単純かつ効果的な探索戦略である。 RLEは、エージェントの行動を混乱させるノイズベースの手法と、新しい行動を試みるエージェントに報酬を与えるボーナスベースの探索を平均的に上回る。 RLEはノイズベースの手法と同じくらい単純であり、複雑なボーナス計算は避けるが、ボーナスベースの手法の深い探索の利点を保っている。
  論文  参考訳（メタデータ） (2024-07-18T17:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。