論文の概要: Boosting Accuracy and Efficiency of Budget Forcing in LLMs via Reinforcement Learning for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2510.21398v1
• Date: Fri, 24 Oct 2025 12:39:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.465997
• Title: Boosting Accuracy and Efficiency of Budget Forcing in LLMs via Reinforcement Learning for Mathematical Reasoning
• Title（参考訳）: 数学的推論のための強化学習によるLCMの予算強制の精度向上と効率性
• Authors: Ravindra Aribowo Tarunokusumo, Rafael Fernandes Cunha,
• Abstract要約: 本稿では,Regressed Learning(RL)を統合したフレームワークを提案し,トークン効率の向上と数学的推論のための1.5Bモデルの性能向上を図る。 その結果,SFTモデルと比較してトークン使用率を40%以上削減し,全体的な精度が向上した。
• 参考スコア（独自算出の注目度）: 1.4348015996689416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time scaling methods have seen a rapid increase in popularity for its computational efficiency and parameter-independent training to improve reasoning performance on Large Language Models. One such method is called budget forcing, a decoding intervention strategy which allocates extra compute budget for thinking and elicits the inherent self-correcting behavior of the model. However, this relies on supervised fine-tuning (SFT) on long-context reasoning traces which causes performance degradation on smaller models due to verbose responses. For this reason, we offer a framework integrating reinforcement learning (RL) to improve token efficiency and boost the performance of a 1.5B model for mathematical reasoning. We demonstrate this using only 1.5K training samples and found that our SFT+RL model performed better on the GSM8K dataset with varying compute budgets. Our main findings showed an overall higher accuracy while significantly reducing its token usage by over 40% compared to the SFT model, revealing how RL can recover the losses due to long-context training and altogether improving performance in mathematical reasoning.
• Abstract（参考訳）: 大規模言語モデルにおける推論性能を向上させるため,テストタイムスケーリング手法は,その計算効率とパラメータに依存しない訓練で急速に普及している。 そのような手法の1つは予算強制(英語: budget forcing)と呼ばれ、モデル固有の自己修正動作を誘発し、思考のために余分な計算予算を割り当てるデコード介入戦略である。 しかし、これは冗長応答による小さなモデルの性能劣化を引き起こす長文推論トレースの教師付き微調整(SFT)に依存している。 そこで我々は, トークン効率の向上と1.5Bモデルの性能向上のために, 強化学習(RL)を統合したフレームワークを提供する。 1.5Kのトレーニングサンプルのみを用いてこれを実演し,計算予算の異なるGSM8Kデータセットにおいて,SFT+RLモデルの方が優れた性能を示した。 本研究の主目的は,SFTモデルと比較してトークン使用率を40%以上削減し,長期学習による損失を再現し,数学的推論における性能の向上を図ったことである。

関連論文リスト

• The Art of Scaling Reinforcement Learning Compute for LLMs [52.71086085139566]
  強化学習(RL)は、大規模言語モデルの訓練の中心となっている。 計算予算の急激な増加にもかかわらず、RL計算のスケーリングにおけるアルゴリズム改善の評価方法に関する原則的な理解は存在しない。 我々は,約40万時間以上のGPU時間を有する,最初の大規模体系的な研究を提示する。
  論文  参考訳（メタデータ） (2025-10-15T17:43:03Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• Making Small Language Models Efficient Reasoners: Intervention, Supervision, Reinforcement [22.801244105119025]
  精度と計算を効果的にトレードオフすることで、小型モデルによるトークン効率の推論を改善する新しいアルゴリズムを提案する。 まず、SFT後のモデルが推論過程の最適停止点を決定するのに失敗し、冗長かつ反復的な出力が得られることを示す。 MATH500、AMC、AIME24、OlympiadBenchの4つの推論ベンチマークの実験は、TSがs1の予算強制アプローチと比較して非常に効果的であることを示した。
  論文  参考訳（メタデータ） (2025-05-12T18:04:39Z)
• S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
  S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。 以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
  論文  参考訳（メタデータ） (2025-02-18T13:40:22Z)
• Training Language Models to Reason Efficiently [14.390800014819439]
  我々は、強化学習を用いて、大きな推論モデルを訓練し、効率的に推論する。 精度を維持しながら不要な計算オーバーヘッドを最小限に抑えるため,本手法はモデルにインセンティブを与える。 2つのオープンウェイトな大推論モデルに対する実験は、ほとんどの精度を保ちながら、推論コストを著しく削減することを示した。
  論文  参考訳（メタデータ） (2025-02-06T19:18:16Z)
• The Surprising Effectiveness of Test-Time Training for Few-Shot Learning [59.309477460893916]
  言語モデル(LM)は、トレーニングディストリビューション内のタスクにおいて印象的なパフォーマンスを示しているが、しばしば構造的に新しいタスクで苦労している。 LMの推論と少数ショット学習能力を改善するメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 本研究は,新しいタスクにおける文脈内学習の限界を強調し,言語モデルの適応性を高めるためのテストタイムトレーニングの可能性を示した。
  論文  参考訳（メタデータ） (2024-11-11T18:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。