論文の概要: Resource-Efficient Reinforcement for Reasoning Large Language Models via Dynamic One-Shot Policy Refinement

• arxiv url: http://arxiv.org/abs/2602.00815v1
• Date: Sat, 31 Jan 2026 16:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.415779
• Title: Resource-Efficient Reinforcement for Reasoning Large Language Models via Dynamic One-Shot Policy Refinement
• Title（参考訳）: 動的ワンショットポリシーリファインメントによる大規模言語モデルの推論のための資源効率の良い強化
• Authors: Yunjian Zhang, Sudong Wang, Yang Li, Peiran Xu, Conghao Zhou, Xiaoyue Ma, Jianing Li, Yao Zhu,
• Abstract要約: 大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な性能を示した。 検証可能な報酬(RLVR)の下での強化学習は、モデル行動と推論連鎖を整合させるための原則的な枠組みとして現れつつある。 その約束にもかかわらず、RLVRは厳しい資源集約であり、広範な報奨信号を必要とし、訓練中にかなりのロールアウトコストを発生させる。
• 参考スコア（独自算出の注目度）: 21.073482007189504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have exhibited remarkable performance on complex reasoning tasks, with reinforcement learning under verifiable rewards (RLVR) emerging as a principled framework for aligning model behavior with reasoning chains. Despite its promise, RLVR remains prohibitively resource-intensive, requiring extensive reward signals and incurring substantial rollout costs during training. In this work, we revisit the fundamental question of data and compute efficiency in RLVR. We first establish a theoretical lower bound on the sample complexity required to unlock reasoning capabilities, and empirically validate that strong performance can be achieved with a surprisingly small number of training instances. To tackle the computational burden, we propose Dynamic One-Shot Policy Refinement (DoPR), an uncertainty-aware RL strategy that dynamically selects a single informative training sample per batch for policy updates, guided by reward volatility and exploration-driven acquisition. DoPR reduces rollout overhead by nearly an order of magnitude while preserving competitive reasoning accuracy, offering a scalable and resource-efficient solution for LLM post-training. This approach offers a practical path toward more efficient and accessible RL-based training for reasoning-intensive LLM applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な性能を示しており、モデル行動と推論連鎖を整合させるための原則的枠組みとして、検証可能な報酬(RLVR)の下で強化学習が出現している。 その約束にもかかわらず、RLVRは厳しい資源集約であり、大規模な報奨信号を必要とし、訓練中にかなりのロールアウトコストを発生させる。 本稿では,RLVRにおけるデータと計算効率の基本的な問題を再考する。 まず、推論能力を解き放つために必要なサンプルの複雑さを理論的に低くし、驚くほど少数のトレーニングインスタンスで強力なパフォーマンスが達成できることを実証的に検証する。 計算負荷に対処するため,不確実性を考慮したRL戦略であるDynamic One-Shot Policy Refinement (DoPR)を提案する。 DoPRは、競合推論の精度を維持しながら、ロールアウトオーバーヘッドをおよそ1桁削減し、LLMポストトレーニングのためのスケーラブルでリソース効率の高いソリューションを提供する。 このアプローチは、推論集約型LLMアプリケーションのための、より効率的でアクセスしやすいRLベースのトレーニングへの実践的なパスを提供する。

関連論文リスト

• Tailored Primitive Initialization is the Secret Key to Reinforcement Learning [61.29280885291581]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高めるための強力なパラダイムとして登場した。 多様な,高品質な推論プリミティブによるLLMの初期化は,安定かつサンプル効率のよいRLトレーニングを実現する上で不可欠である,と我々は主張する。 そこで我々は,新しい推論プリミティブを自動的に発見し,キュレートする微調整パイプラインであるTailorを提案する。
  論文  参考訳（メタデータ） (2025-11-16T03:12:40Z)
• Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration [33.02780998281276]
  検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を改善した。 本研究は,RLVRにおけるデータ効率の向上に本質的なデータ特性の活用,すなわちトレーニング中のほぼ自由な利益をいかに生かすかを検討する。
  論文  参考訳（メタデータ） (2025-11-02T04:16:47Z)
• Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning [49.22815446849924]
  大規模言語モデル(LLM)は多段階推論を必要とする問題に悩まされることが多い。 小規模なオープンソースモデルでは、正しいソリューションがほとんどサンプリングされない場合には、RLVR(Reinforcement Learning with Verifiable Rewards)が失敗する。 問題解決を論理的「行動」の系列を生成するものとして再構成するフレームワークとして, SRL(Supervised Reinforcement Learning)を提案する。
  論文  参考訳（メタデータ） (2025-10-29T22:05:08Z)
• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• Reusing Embeddings: Reproducible Reward Model Research in Large Language Model Alignment without GPUs [58.18140409409302]
  大規模言語モデル (LLM) は強化学習 (RL) を通じて構造化タスクに大きく進歩した。 チャットボットやコンテンツ生成といった幅広い分野にRLを適用することは、ユニークな課題だ。 埋め込み型報酬モデルを用いた既存の報酬モデルアンサンブル研究の再現事例について述べる。
  論文  参考訳（メタデータ） (2025-02-04T19:37:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。