論文の概要: Understanding Enrichment in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.02846v1
• Date: Fri, 02 Oct 2026 05:34:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.231477
• Title: Understanding Enrichment in Reinforcement Learning
• Title（参考訳）: 強化学習におけるエンリッチメントの理解
• Abstract要約: 数学的には、省略されたあるいは取り消された修正が、決定された報酬を暗黙的に重み付けしていることを示す。 次に、我々は、OpenMathReasoningのスパースバンド上のQwen3-1.7Bの微細構造の結果の解釈にエンリッチメントの分析を適用した。
• 参考スコア（独自算出の注目度）: 8.94830216515477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When rewards are sparse, reinforcement learning with verifiable rewards (RLVR) often uses hints or intermediate guidance to generate more successful rollouts. This enrichment biases policy-gradient updates unless corrected via importance weights, but existing methods omit correction or truncate importance weights in order to avoid the high variance of correction. It thus remains unclear what exactly is gained or lost in RLVR by correcting enriched rollouts. We show, mathematically, that omitted or truncated correction implicitly reweights the defined reward, and we decompose the resulting gradient error into scale, rotation, and variance to explain their distinct effects on learning. To make correction practical, we develop a novel sequential Monte Carlo (SMC) weight correction mechanism that, under stability and particle-order assumptions, tempers the exponential compounding of standard correction variance over the length of a sample to an additive accumulation. We then apply our analysis of enrichment to interpreting the results of a fine-tune of Qwen3-1.7B on a sparse band of OpenMathReasoning, establishing a concrete mechanism of how enrichment, both corrected and uncorrected, helps avoid collapse in sparse domains. Our main contribution is to understand, in general, how enrichment and correction can affect training, as opposed to claiming that either mode of operation is superior to unenriched RL.
• Abstract（参考訳）: 報酬が不足している場合、検証可能な報酬(RLVR)による強化学習は、しばしば、より成功したロールアウトを生成するためにヒントまたは中間ガイダンスを使用する。 このリッチ化は、重要な重みによって修正されない限り、ポリシーの緩やかな更新をバイアスするが、既存の方法は、高い修正のばらつきを避けるために、重要な重みを省略または切り捨てる。 したがって、リッチなロールアウトの修正によってRLVRで何が得られるか、何を失ったかは、まだ不明である。 数学的には、省略あるいは省略された補正は、決定された報酬を暗黙的に重み付けし、結果として生じる勾配誤差をスケール、回転、分散に分解して、学習に対するそれぞれの異なる影響を説明する。 そこで我々は, 安定度と粒子次数仮定の下で, 試料長の標準補正分散の指数的合成を加法蓄積に誘引する, 連続モンテカルロ(SMC)重み補正機構を開発した。 次に、我々は、OpenMathReasoningのスパースバンド上のQwen3-1.7Bの微細構造の結果を解釈するためにエンリッチメントの分析を適用する。 我々の主な貢献は、一般に、リッチ化と修正がトレーニングにどのように影響するかを理解することである。

関連論文リスト

• Learn the Directions, Normalize the Gains: Post-Training Normalization for LoRA [36.66664283517932]
  Low-Rank Adaptation (LoRA)は効率的なタスク特殊化を可能にする。 トレーニング後の正規化手法である textbfLoRA-Norm をモチベーションとし、学習の方向性を維持しながら利得を再バランスさせる。
  論文  参考訳（メタデータ） (2026-10-01T17:07:21Z)
• Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
  複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。 OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-09-29T23:47:58Z)
• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• Adaptive Negative Reinforcement for LLM Reasoning:Dynamically Balancing Correction and Diversity in RLVR [6.291433683451589]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力向上に有効な方法となっている。 最近の研究では、NSR(Negative Sample Reinforcement)がPPOやGRPOのようなより複雑なフレームワークのパフォーマンスに適合または超えることが示されている。 我々は,NSRフレームワークの拡張として,適応型負のサンプル強化と信頼度重み付き負の強化の2つを提案する。
  論文  参考訳（メタデータ） (2026-05-08T02:13:33Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning [0.19418036471925312]
  深部強化学習における一般化されたガウス誤差モデリングのための新しい枠組みを提案する。 我々はデータ依存型アレタリック不確実性の推定と緩和を改善する。 ポリシー勾配アルゴリズムによる実験は、大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2024-08-05T08:12:25Z)
• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• Long-Tailed Recognition via Weight Balancing [66.03068252811993]
  ナイーブトレーニングは、より高い精度で一般的なクラスに偏ったモデルを生成する。 重みのバランス、L2-正規化、重みの崩壊、MaxNormの3つの手法について検討する。 提案手法は,5つの標準ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-03-27T03:26:31Z)
• Correcting Momentum in Temporal Difference Learning [95.62766731469671]
  時間差(TD)学習のモーメントは2倍に不安定になる勾配を蓄積すると主張している。 この現象が存在することを示し、その上で運動量に対する一階補正項を提案する。 この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
  論文  参考訳（メタデータ） (2021-06-07T20:41:15Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。