論文の概要: Where RL Breaks: Localizing and Repairing Failures via Targeted Continued Pretraining

• arxiv url: http://arxiv.org/abs/2610.25836v1
• Date: Mon, 19 Oct 2026 05:48:15 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:14:46.021349
• Title: Where RL Breaks: Localizing and Repairing Failures via Targeted Continued Pretraining
• Title（参考訳）: RLが壊れる場所: 目標とする事前トレーニングによる障害のローカライズと修復
• Abstract要約: プリトレーニングされたコーパスからテキストを取得し、RLの前にベースモデルの事前トレーニングを続けるために、フェール$n$-gramsを使用します。 本稿では,(1) GSM8KでRLで学習したOLMo2とQwen3モデル,(2)数学,常識,知識の混合,(3)一般数学と科学の推論について評価する。
• 参考スコア（独自算出の注目度）: 20.698144423804177
• License:
• Abstract: Reinforcement learning with verifiable rewards (RLVR) is widely used to improve reasoning in language models, yet growing evidence suggests that it mostly sharpens what the base model can already do. This raises a practical question: when RL fails, what is the base model missing? We look inside the RL policy's own rollouts and find that failures are localized: whether a rollout fails is strongly predicted by a small set of characteristic n-grams, ranging from reflection phrases such as "let's recheck" to specific operations such as "the inverse of A". These failures persist throughout RL training, although they are not beyond the model's reach: other sampled answers to the same question are often correct. Building on this observation, we use the failure $n$-grams to retrieve text from the pretraining corpus and continue pretraining the base model on it before RL. The resulting corpus has only 35M tokens, 3--4 orders of magnitude smaller than typical mid-training. We evaluate this approach on OLMo2 and Qwen3 models trained with RL on (1) GSM8K; (2) a mixture of math, commonsense, and knowledge questions; and (3) general math and science reasoning. Despite its size, the corpus yields consistent gains: our approach outperforms continued pretraining on the same amount of text sampled from the pretraining corpus across 10 out of 11 settings, including by $2.0$ points on GSM8K when inserted before mid-training. The retrieved text also transfers across model families: text retrieved for OLMo2-1B's failures improves Qwen3-4B on the mixture by $1.9$ points over the same baseline. Together, our results suggest that where RL fails is a cheap and effective signal for selecting pretraining data.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、言語モデルにおける推論を改善するために広く使用されているが、ベースモデルがすでにできることをほとんど研ぎ澄ましている証拠が増えている。 RLが失敗したら、ベースモデルに何が欠けているのか? ロールアウトが失敗するか否かは、"let's recheck"のようなリフレクションフレーズから、"the inverse of A"のような特定の操作まで、いくつかの特徴的なn-gramセットによって強く予測される。 これらの失敗はRLトレーニングを通じて継続するが、モデルの範囲を超えていない。 この観測に基づいて、フェール$n$-gramsを使用して、事前学習コーパスからテキストを検索し、RLの前にベースモデルの事前トレーニングを継続する。 得られたコーパスは3,500万個のトークンしか持たない。 本稿では,(1) GSM8KでRLで学習したOLMo2とQwen3モデル,(2)数学,常識,知識の混合,(3)一般数学と科学の推論について評価する。 我々のアプローチは、トレーニング前の挿入時にGSM8Kの$2.0$ポイントを含む11のセッティングのうち10のうち、トレーニング前のコーパスからサンプリングしたテキストと同じ量で事前トレーニングを継続する。 OLMo2-1Bの故障のために検索されたテキストは、同じベースライン上で19ドルポイントのQwen3-4Bを改善する。 この結果から,RLの故障は事前学習データを選択する上で,安価かつ効果的な信号であることが示唆された。

関連論文リスト

• Understanding Reasoning from Pretraining to Post-Training [53.890128750021375]
  チェスは前訓練から後訓練までのパイプライン全体にわたって推論を研究するための制御テストベッドとして使用します。 所定のRL計算レベルでのポストRL性能は、事前学習損失からよく予測できる。 さらに,数学領域のテキスト上での1B言語モデルの訓練により,我々の研究結果がチェスを超えるか否かを検証した。
  論文  参考訳（メタデータ） (2026-07-17T16:31:58Z)
• ExpRL: Exploratory RL for LLM Mid-Training [40.4311030968937]
  スパース報酬強化学習(RL)はLLM推論を改善するための標準ツールとなっている。 より自動化されたアプローチについて検討する: emphRL に基づく中級訓練において、人間による質問応答データの大規模なコーパスを用いて検討する。 参照はポリシーから隠され、問題固有のグレーディングルーブを構築するためにのみ使用される。
  論文  参考訳（メタデータ） (2026-06-15T17:50:44Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning [16.73341451930523]
  強化学習は新たな戦略を学ばず、ベースモデルがすでに持っている解に対して確率質量を再分配する。 この知見をReasonMaxxerに変換する。これは最小のRLフリーな手法で、エントロピー付き決定点にのみコントラスト損失を適用する。
  論文  参考訳（メタデータ） (2026-05-07T13:25:05Z)
• Learning to Detect Language Model Training Data via Active Reconstruction [65.4791582049743]
  textbfActive Data Reconstruction Attack (ADRA)を紹介する。 ADRAはトレーニングを通じて与えられたテキストを再構築するモデルを誘導する。 我々のアルゴリズムは、事前学習、後訓練、蒸留データの検出において、既存のMIAよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-22T03:20:06Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild [46.25416990387885]
  ロングチェーン・オブ・シント(CoT)推論は、ルールベースの報酬を持つ単純な強化学習フレームワークを通じて自然に現れる。 LLama3-8B,Mistral-7B/24B,DeepSeek-Math-7B,Qwen2.5-math-7B,およびQwen2.5モデル0.5Bから32Bを含む10種類のベースモデルを対象としたゼロRLトレーニングについて検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:06:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。