論文の概要: Training Reasoning Models on Saturated Problems via Failure-Prefix Conditioning

• arxiv url: http://arxiv.org/abs/2601.20829v1
• Date: Wed, 28 Jan 2026 18:29:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:07.09219
• Title: Training Reasoning Models on Saturated Problems via Failure-Prefix Conditioning
• Title（参考訳）: 故障予知条件による飽和問題に関する学習推論モデル
• Authors: Minwu Kim, Safal Shrestha, Keith Ross,
• Abstract要約: 本研究では,飽和問題から学習する簡易かつ効果的な手法であるフェールコンディショニングを提案する。 障害発生条件付けにより,中級難易度問題における訓練条件に適合する性能向上が期待できる。 以上の結果から, 故障条件付けは飽和問題に対するRLVRトレーニングの拡張に有効な経路であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.3823356975862005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has substantially improved the reasoning abilities of large language models (LLMs), yet training often stalls as problems become saturated. We identify the core challenge as the poor accessibility of informative failures: learning signals exist but are rarely encountered during standard rollouts. To address this, we propose failure-prefix conditioning, a simple and effective method for learning from saturated problems. Rather than starting from the original question, our approach reallocates exploration by conditioning training on prefixes derived from rare incorrect reasoning trajectories, thereby exposing the model to failure-prone states. We observe that failure-prefix conditioning yields performance gains matching those of training on medium-difficulty problems, while preserving token efficiency. Furthermore, we analyze the model's robustness, finding that our method reduces performance degradation under misleading failure prefixes, albeit with a mild trade-off in adherence to correct early reasoning. Finally, we demonstrate that an iterative approach, which refreshes failure prefixes during training, unlocks additional gains after performance plateaus. Overall, our results suggest that failure-prefix conditioning offers an effective pathway to extend RLVR training on saturated problems.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデル(LLM)の推論能力を大幅に向上させたが、問題が飽和するにつれて学習は停滞することが多い。 学習信号は存在するが,標準的なロールアウト時に発生することは滅多にない。 そこで本研究では,飽和問題から学習する簡易かつ効果的な手法であるフェール・プレフィックス・コンディショニングを提案する。 本手法は,従来の質問から始めるのではなく,希少な不正確な推論軌跡から派生した接頭辞の条件付けによる探索を再配置し,失敗を招いた状態にモデルを公開する。 故障前条件付けでは,トークン効率を保ちながら,中難解な問題に対するトレーニングに適合する性能向上が期待できる。 さらに,本手法は故障前置詞の誤り発生時の性能劣化を低減させるが,早期推論の正しさは軽微なトレードオフを伴う。 最後に、トレーニング中の障害プレフィックスをリフレッシュする反復的アプローチが、パフォーマンスプレートの後にさらなるゲインを解放することを示した。 以上の結果から, 故障前処置条件は飽和問題に対するRLVRトレーニングを延長する有効な経路となることが示唆された。

関連論文リスト

• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• Progress or Regress? Self-Improvement Reversal in Post-training [26.051637877066327]
  本稿では,自己改善のためのポストトレーニングパラダイムの根底にある拡張を精査する包括的評価フレームワークを提案する。 ベンチマークで改善されたパフォーマンスを示すモデルは、パラドックス的により広範で必須の能力の低下を示す。 これらの結果から, ポストトレーニングによる現在の自己改善実践は, より複雑な問題に対処するためのモデルの装備に不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-06T09:07:11Z)
• Fine-tuning Reinforcement Learning Models is Secretly a Forgetting Mitigation Problem [12.185261182744377]
  本研究は, 強化学習環境においてアクセントを付加した, 伝達不良の原因の1つを概念化したものである。 モデルは、微調整の初期段階に訪れない下流タスクの状態部分空間を劣化させる。 標準的な知識保持技術が問題を緩和し、事前訓練された能力を最大限に活用できることを示します。
  論文  参考訳（メタデータ） (2024-02-05T10:30:47Z)
• A Reusable AI-Enabled Defect Detection System for Railway Using Ensembled CNN [5.381374943525773]
  欠陥検出は、鉄道システムの信頼性を確保するために不可欠である。 現在のアプローチは、CNNのような単一のディープラーニングモデルに依存している。 再利用可能なAI対応欠陥検出手法を提案する。
  論文  参考訳（メタデータ） (2023-11-24T19:45:55Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。