論文の概要: Exploration via Activation-Space Steering for Reinforcement Learning with Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2610.27012v1
• Date: Mon, 19 Oct 2026 12:23:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.419924
• Title: Exploration via Activation-Space Steering for Reinforcement Learning with Verifiable Rewards
• Title（参考訳）: 有効リワードを用いた強化学習のための活性化空間ステアリングによる探索
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、応答をサンプリングし、自動検証器で評価し、その結果の報酬からポリシーを更新することにより、言語モデルを訓練する。 しかし、同じ方針からの繰り返しサンプリングは、同様の推論経路に集中し、固定されたロールアウト予算の下で探索されていない有用な代替手段を残すことができる。 トレーニングのロールアウトを多様化するオンライン手法である Activation-Space Exploration (ASE) を導入し、その後のロールアウトに異なるベクトルを適用して、代替の推論経路を探索する。
• 参考スコア（独自算出の注目度）: 11.681961012789538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) trains a language model by sampling responses, scoring them with an automatic verifier, and updating the policy from the resulting rewards. The policy therefore receives direct learning signals only from trajectories that appear in its rollouts. Yet repeated sampling from the same policy can concentrate on similar reasoning paths, leaving useful alternatives unexplored under a fixed rollout budget. We introduce Activation-Space Exploration (ASE), an online method for diversifying training rollouts. By clustering activation differences between correct and incorrect responses to the same problem, ASE builds a structured bank of latent exploration vectors. Different vectors are then applied to subsequent rollouts to explore alternative reasoning paths. On Qwen3-1.7B-Base and Qwen3-8B-Base trained on DAPO-Math-17k, ASE improves average Mean@8 across six mathematical reasoning benchmarks over GRPO by 4.87 and 1.87 percentage points, respectively, under the same rollout budget.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習は、応答をサンプリングし、自動検証器で評価し、その結果の報酬からポリシーを更新することにより、言語モデルを訓練する。 したがって、ポリシーはロールアウトに現れる軌跡からのみ直接学習信号を受け取る。 しかし、同じ方針からの繰り返しサンプリングは、同様の推論経路に集中し、固定されたロールアウト予算の下で探索されていない有用な代替手段を残すことができる。 本稿では,トレーニングロールアウトを多様化するオンライン手法である Activation-Space Exploration (ASE) を紹介する。 同じ問題に対する正しい応答と間違った応答のアクティベーションの差をクラスタ化することにより、ASEは潜在探索ベクトルの構造化バンクを構築する。 異なるベクトルをその後のロールアウトに適用して、別の推論経路を探索する。 DAPO-Math-17kでトレーニングされたQwen3-1.7BベースとQwen3-8Bベースでは、ASEは同じロールアウト予算の下でGRPO上の6つの数学的推論ベンチマークで平均Mean@8を改善している。

関連論文リスト

• ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning [55.716259164434234]
  検証可能な報酬からの強化学習は、個々の推論ステップが結果にどのように貢献するかを解明し、すべての推論軌道に1つの終末報酬を割り当てる。 GRPOは、すべてのレスポンストークンに対してグループ正規化された利点をブロードキャストする一方、よりきめ細かいアプローチは、ポリシー更新に使用されるデータを変更可能な、高密度な補助的なロールアウトや分岐スキームに依存することが多い。 限定的なロールアウト予算で、どの部分的なソリューションを評価すべきで、どのように価値を評価すればよいのか。 ProbePOは報酬のない不確実性スコアで部分解法状態を選択し、上限条件下で期待された検証者報酬を推定する
  論文  参考訳（メタデータ） (2026-10-17T07:19:05Z)
• Flow-Support-Weighted Proposals for Test-Time Verified VLA Policies [21.165662881835416]
  テストタイムサンプリングは、1つのアクション予測を検証者が選択できる独立した実行可能候補のセットに変換することを約束する。 1つのタスク分布を解くために訓練された視覚アクションモデルは、そのフローマッチングデコーダを支配的な実演行動の周りに集中させ、繰り返しサンプルはわずかに異なる。 繰り返しサンプルは、候補となる予算が増加するにつれて、非常に冗長なままになります。
  論文  参考訳（メタデータ） (2026-10-10T05:06:36Z)
• Parameter Exploration for RLVR via Variational Learning [52.28666546574647]
  既存の多くの手法は、例えば温度スケーリングを用いて、アクション空間での探索を制御する。 そこで本研究では,異なるロールアウトを探索可能な後部から異なるポリシーをサンプリングすることにより,ロールアウトを生成するパラメータ空間探索について検討する。 実験により、これらの手法は標準のGRPOよりもほぼ同一のFLOPsコストで平均ダウンストリーム性能を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2026-08-10T16:28:07Z)
• Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
  検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。 我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
  論文  参考訳（メタデータ） (2026-07-31T19:05:43Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Effective Reinforcement Learning for Agentic Search by Recycling Zero-Variance Queries During Training [28.12666966542811]
  本研究では,将来的な再サンプリングのために,ゼロ分散グループを可変プールに返却するクエリリサイクルを提案する。 本稿では, リサイクルクエリが, 学習終了までに有効バッチの約4分の3を供給していることを示す。
  論文  参考訳（メタデータ） (2026-06-09T11:12:58Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• Lookahead Tree-Based Rollouts for Enhanced Trajectory-Level Exploration in Reinforcement Learning with Verifiable Rewards [48.321707628011005]
  Lookahead Tree-Based Rollouts (LATR) は、軌道レベルの多様性を明確に促進するために設計された新しいロールアウト戦略である。 LATRはポリシー学習を平均で131%加速し、最終パス@1パフォーマンスを4.2%向上させる。
  論文  参考訳（メタデータ） (2025-10-28T11:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。