論文の概要: Preserving Reasoning Diversity in Reinforcement Learning with Verifiable Rewards via Adaptive Replay

• arxiv url: http://arxiv.org/abs/2610.24236v1
• Date: Fri, 16 Oct 2026 21:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 10:02:23.042552
• Title: Preserving Reasoning Diversity in Reinforcement Learning with Verifiable Rewards via Adaptive Replay
• Title（参考訳）: 適応的リプレイによる検証可能なリワードを用いた強化学習における多様性の推論
• Abstract要約: RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論能力を改善する。 政治上の限定的なロールアウトは、意味的に異なるが等しく報われる推論モードを徐々に抑制できることを示す。 基本方針にすでに存在する多様な正しい推論行動を保存するためのターゲット適応型フレームワークであるTARを提案する。
• 参考スコア（独自算出の注目度）: 19.460098060460044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) improves the reasoning capabilities of large language models, but often reduces the diversity of their reasoning behaviors. We study this phenomenon from the perspective of finite-sample learning dynamics and show that limited on-policy rollouts can progressively suppress semantically distinct but equally rewarded reasoning modes. Once a mode becomes sufficiently under-sampled, standard on-policy RLVR rarely recovers it. Motivated by this observation, we propose TAR, a Targeted Adaptive Replay framework that preserves diverse correct reasoning behaviors already present in the base policy. TAR constructs a compact memory bank of diverse base-model solutions and selectively replays them through an adaptive mechanism that activates only when stored behaviors are being suppressed during RLVR. Across six mathematical reasoning benchmarks and two Qwen2.5 model scales, TAR consistently achieves a better balance between reasoning performance and diversity preservation than existing diversity-preserving post-training methods, while substantially reducing the forgetting of correct base-model solutions. Code is available at https://github.com/wenzhilics/tar.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR)は、大きな言語モデルの推論能力を改善するが、多くの場合、推論の振る舞いの多様性を低下させる。 本研究では,この現象を有限サンプル学習力学の観点から研究し,限定的なオン・ポリティクスのロールアウトが意味論的に異なるが等しく報奨された推論モードを段階的に抑制できることを示す。 モードが十分にアンダーサンプリングされると、標準のRLVRはそれを回復することは滅多にない。 そこで本研究では,すでに基本方針に存在している多様な正しい推論行動を保存するための,ターゲット適応再生フレームワークであるTARを提案する。 TARは、多様なベースモデルソリューションからなるコンパクトメモリバンクを構築し、RLVR中に格納された動作が抑制されている場合にのみアクティベートするアダプティブメカニズムを通じてそれらを選択的に再生する。 6つの数学的推論ベンチマークと2つのQwen2.5モデルスケールで、TARは既存の多様性保存後学習法よりも推論性能と多様性の保存のバランスが良く、また、正しいベースモデル解の忘れを著しく減らしている。 コードはhttps://github.com/wenzhilics/tar.comから入手できる。

関連論文リスト

• SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs [55.46289074417954]
  検証可能な報酬(RLVR)による強化学習は、推論タスクのpass@1を確実に改善するが、pass@kでは同等の利得を得られないことが多い。 中心的な構造的制約は、トレーニングを安定させるが、本質的には基準分布にポリシーを固定する逆-KL正規化から生じる。 我々は,逆KLアンカー分布自体を再構成することで,制御可能な経験的サポート拡張を可能にする,原則化されたフレームワークであるSAGEを提案する。
  論文  参考訳（メタデータ） (2026-05-15T07:42:21Z)
• Does LLM Alignment Really Need Diversity? An Empirical Study of Adapting RLVR Methods for Moral Reasoning [44.68959659268472]
  本研究では,アライメントタスクにおいて期待される報酬最大化手法に対して,分布マッチング手法が有意な優位性を示すものではないことを示す。 その結果,アライメントタスクは本質的に多様性保存アルゴリズムを必要としないことが示唆され,標準報酬最大化RLVR法は明確な多様性機構を持たずに道徳的推論に効果的に移行できることがわかった。
  論文  参考訳（メタデータ） (2026-03-11T09:45:30Z)
• Beyond Reasoning Gains: Mitigating General Capabilities Forgetting in Large Reasoning Models [33.214586668992965]
  検証可能な報酬(RLVR)による強化学習は、数学的およびマルチモーダル推論において驚くべき成果を上げている。 汎用知識のための動的客観的リウェイトを用いたRECAP-aリプレイ戦略を提案する。 本手法はエンド・ツー・エンドであり,既存のRLVRパイプラインに適用可能である。
  論文  参考訳（メタデータ） (2025-10-24T19:08:48Z)
• The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
  Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。 これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。 我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
  論文  参考訳（メタデータ） (2025-09-09T06:34:32Z)
• Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
  本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。 具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。 また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
  論文  参考訳（メタデータ） (2025-05-30T15:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。