論文の概要: On the Primacy Bias in RLVR Training

• arxiv url: http://arxiv.org/abs/2611.04061v1
• Date: Mon, 02 Nov 2026 23:04:48 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:46:47.704355
• Title: On the Primacy Bias in RLVR Training
• Title（参考訳）: RLVRトレーニングにおけるプライマリーバイアスについて
• Abstract要約: Reinforcement Learning with Verifiable Reward (RLVR) が、すでにベースモデルに符号化されているものを超えて推論能力を拡張できるかどうかを検討する。 混合データにおけるRLVRトレーニングは、より簡単な問題においてパフォーマンスをさらに向上する傾向にあり、一方、より難しい問題に対しては限界的な利得しか得られないことを示す。
• 参考スコア（独自算出の注目度）: 15.528644117265385
• License:
• Abstract: Reinforcement Learning with Verifiable Reward (RLVR) has emerged as a promising approach for enhancing the reasoning capabilities of large language models. However, it still remains unclear whether RLVR can extend reasoning capabilities beyond what is already encoded in the base model. In this paper, we study this question through the lens of primacy bias: the tendency of models to over-rely on already-learned representations, disproportionately improving performance on problems they already handle well while underexploring harder ones that require departing from those representations. Through our controlled experiments and large-scale analysis, we show that RLVR training on mixed data tends to further sharpen performance on easier problems while yielding only marginal gains on harder ones. We find that although hard problems lead to modest gains overall, they are actually the ones that help most in expanding the model's reasoning capabilities and pushing the representations. However, prolonged training on these hard problems may also hurt and lead to forgetting on easy problems. These findings help to better understand some of the prior conflicting observations about RLVR, specifically, why on (OOD) domains where the base model performs poorly, improvements on hard problems can expand reasoning; while on well-trained domains, forgetting can reduce performance and mask genuine gains obtained from hard problems.
• Abstract（参考訳）: Reinforcement Learning with Verifiable Reward (RLVR)は、大規模言語モデルの推論能力を高めるための有望なアプローチとして登場した。 しかし、RLVRが既にベースモデルにエンコードされているものを超えて推論能力を拡張できるかどうかはまだ不明である。 本稿では,既成表現を過度に学習する傾向と,既成表現から逸脱する必要のある難易度を過度に探索しながら,すでにうまく扱っている問題に対する性能を不均等に改善する傾向という,優劣バイアスのレンズを通してこの問題を考察する。 制御された実験と大規模解析により、RLVRの混合データによるトレーニングは、より簡単な問題に対するパフォーマンスをさらに向上させ、より難しい問題に対して限界ゲインしか得られない傾向が示されている。 難しい問題は全体としては緩やかな増加につながるが、実際にはモデルの推論能力を拡大し、表現を推し進めるのに最も役立っているのがそれらである。 しかし、これらの難しい問題に対する長期のトレーニングは、苦痛も伴い、簡単な問題を忘れてしまう。 これらの知見は、RLVRに関する以前の矛盾する観察のいくつか、特に、ベースモデルが不十分な(OOD)ドメインでは、難しい問題の改善が推論を拡大する可能性があること、そして、よく訓練されたドメインでは、忘れることがパフォーマンスを低下させ、難しい問題から得られる真の利益を隠蔽する可能性があること、などを理解するのに役立つ。

関連論文リスト

• Understanding Diversity Collapse in RLVR via the Lens of Overtraining [78.37408098404312]
  検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めるための重要なアプローチとなっている。 我々は、この多様性の崩壊をエンフェーバートレーニングのレンズを通してフォーマルに定式化する 本稿では,各問題の限界寄与を推論境界に推定することにより,オーバートレーニングから最適化をリダイレクトするemphBayesian boundary Gating (BBG)を提案する。
  論文  参考訳（メタデータ） (2026-06-13T20:13:37Z)
• Mechanistically Interpreting the Role of Sample Difficulty in RLVR for LLMs [31.936873332676743]
  サンプルの難易度はRLVRに非単調な影響を及ぼすことがわかった。 ハードサンプル利用のための難易度適応戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-27T12:25:57Z)
• The Unlearnability Phenomenon in RLVR for Language Models [30.820807192628052]
  Reinforcement Learning with Verifiable Reward (RLVR) は,Large Language Model's (LLM) 推論能力の向上に有効であることが証明されている。 モデルが当初は苦労していた厳しい例の中で、正確なロールアウトが存在する場合でも、実質的なサブセットはリリース不能のままである。
  論文  参考訳（メタデータ） (2026-05-16T03:43:19Z)
• On the Learning Dynamics of RLVR at the Edge of Competence [86.52481827737097]
  検証可能な報酬(RLVR)による強化学習は、大規模な推論モデルにおける最近のブレークスルーの主要な要因である。 コンポジション推論タスクにおける変圧器のRLのトレーニング力学の理論を開発する。
  論文  参考訳（メタデータ） (2026-02-16T16:03:08Z)
• The Reasoning Boundary Paradox: How Reinforcement Learning Constrains Language Models [31.773914661815393]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上のための重要な手法である。 最近の証拠は、拡張するのではなく、パラドックス的に推論境界を縮小する可能性があることを示唆している。 本稿では,RLVRの学習力学を解析することにより,RLVRの縮小問題を考察する。
  論文  参考訳（メタデータ） (2025-10-02T17:17:27Z)
• The Invisible Leash: Why RLVR May or May Not Escape Its Origin [47.488691410579925]
  RLVRの現在の実践がモデルの推論境界を真に拡張するかどうかは不明である。 現在の訓練条件下では、RLVRはサポート制約付き最適化メカニズムとして動作することができる。 RLVRは精度を確実に向上させるが、探索は徐々に狭くなり、正しく表現されていない解を見落としてしまう可能性がある。
  論文  参考訳（メタデータ） (2025-07-20T07:04:08Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• Concise Reasoning via Reinforcement Learning [13.657506042120167]
  我々は強化学習(RL)の中核的原則を再考する。 簡潔さと正確さの自然な相関関係を明らかにする。 RLトレーニングの二次段階の導入は、非常に小さな問題セットを用いて、思考の連鎖を著しく減少させることが示される。
  論文  参考訳（メタデータ） (2025-04-07T15:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。