論文の概要: Towards Revealing the Effectiveness of Small-Scale Fine-tuning in R1-style Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.17988v1
• Date: Fri, 23 May 2025 14:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.171513
• Title: Towards Revealing the Effectiveness of Small-Scale Fine-tuning in R1-style Reinforcement Learning
• Title（参考訳）: R1型強化学習における小型微調整の有効性について
• Authors: Yutong Chen, Jiandong Gao, Ji Wu,
• Abstract要約: R1スタイル強化学習(RL)は、大規模言語モデルの推論能力を大幅に向上させる。 小型SFTはRLに大きな影響を与えるが, 効率は低い。 本稿では,RL法に基づく小規模蒸留によるプレトレインモデルの微粒化手法であるRe-distillationを提案する。
• 参考スコア（独自算出の注目度）: 4.967941028121525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: R1-style Reinforcement Learning (RL) significantly enhances Large Language Models' reasoning capabilities, yet the mechanism behind rule-based RL remains unclear. We found that small-scale SFT has significant influence on RL but shows poor efficiency. To explain our observations, we propose an analytical framework and compare the efficiency of SFT and RL by measuring sample effect. Hypothetical analysis show that SFT efficiency is limited by training data. Guided by our analysis, we propose Re-distillation, a technique that fine-tunes pretrain model through small-scale distillation from the RL-trained policy. Experiments on Knight & Knave and MATH datasets demonstrate re-distillation's surprising efficiency: re-distilled models match RL performance with far fewer samples and less computation. Empirical verification shows that sample effect is a good indicator of performance improvements. As a result, on K&K dataset, our re-distilled Qwen2.5-1.5B model surpasses DeepSeek-V3-0324 with only 1K SFT samples. On MATH, Qwen2.5-1.5B fine-tuned with re-distilled 500 samples matches its instruct-tuned variant without RL. Our work explains several interesting phenomena in R1-style RL, shedding light on the mechanisms behind its empirical success. Code is available at: https://github.com/on1262/deep-reasoning
• Abstract（参考訳）: R1-style Reinforcement Learning (RL) は、大言語モデルの推論能力を大幅に向上させるが、ルールベースのRLのメカニズムは未だ不明である。 その結果,小型SFTはRLに大きな影響を及ぼすが,効率は良くないことがわかった。 そこで本研究では,SFTとRLの効率を試料効果の測定により比較し,解析的枠組みを提案する。 仮説解析により、SFT効率は訓練データによって制限されることが示された。 そこで本研究では,RL法に基づく小規模蒸留によるプレトレインモデルの微粒化手法である再蒸留法を提案する。 Knight & KnaveとMATHデータセットの実験では、再蒸留の驚くべき効率が示されている。 実証的な検証は、サンプル効果がパフォーマンス改善のよい指標であることを示している。 その結果,再蒸留したQwen2.5-1.5Bは1K SFTサンプルのみでDeepSeek-V3-0324を上回った。 MATHでは、Qwen2.5-1.5Bが500個の再蒸留サンプルで微調整され、RLなしでインストラクション調整された変種と一致する。 我々の研究は、R1スタイルのRLのいくつかの興味深い現象を説明し、その経験的成功の裏にあるメカニズムに光を当てている。 コードは、https://github.com/on1262/deep-reasoning.comで入手できる。

関連論文リスト

• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• Reinforcement Learning for Reasoning in Large Language Models with One Training Example [129.11571295790807]
  1つのトレーニング例(1ショットRLVR)を用いた強化学習は,大規模言語モデル(LLM)の算数推論能力の向上に有効であることを示す。 1ショットRLVRにおける興味深い現象として、クロスドメインの一般化、自己回帰の頻度の増大、トレーニング精度が飽和した後もテスト性能の向上が維持されていることを挙げる。
  論文  参考訳（メタデータ） (2025-04-29T09:24:30Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• LIMR: Less is More for RL Scaling [25.477841726836836]
  学習影響測定(Learning Impact Measurement, LIM)は, 学習サンプルを評価・優先順位付けする自動手法である。 提案手法は,1,389個のサンプルと8,523個のサンプルの完全なデータセットとを比較して,同等あるいは優れた性能を実現する。 再現可能な研究と今後のイノベーションのために、LIMRをオープンソース化しています。LIMRの実装、トレーニングと評価コード、キュレートされたデータセット、トレーニングされたモデルなどです。
  論文  参考訳（メタデータ） (2025-02-17T15:13:29Z)
• Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling [52.34735382627312]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な能力を示した。 既存のアプローチは主に、効果的なテストタイムスケーリングを達成するために、模倣学習と苦労に依存しています。 我々は、探索を奨励し、推論スケーリングを理解することで、強化学習をスケールするためにT1を提案する。
  論文  参考訳（メタデータ） (2025-01-20T18:33:33Z)
• Does RLHF Scale? Exploring the Impacts From Data, Model, and Method [83.53178716807776]
  本研究では,大規模言語モデルにおける人間のフィードバックからの強化学習のスケーリング特性について検討する。 RLHFフレームワークの主要なコンポーネント、モデルサイズ、データ構成、推論予算、およびそれらのパフォーマンスへの影響を分析します。
  論文  参考訳（メタデータ） (2024-12-08T17:19:48Z)
• Higher Replay Ratio Empowers Sample-Efficient Multi-Agent Reinforcement Learning [47.17030172520195]
  MARL(Multi-Agent Reinforcement Learning)のサンプル効率は、その固有の部分的可観測性、非定常トレーニング、および巨大な戦略空間のため、より困難である。 広く使われているエピソードトレーニング機構は、サンプル効率の低下の原因となる可能性があると論じる。 既に収集したデータをよりよく活用するために,環境相互作用毎の勾配更新の頻度を高めることを提案する。
  論文  参考訳（メタデータ） (2024-04-15T12:18:09Z)
• Application of Knowledge Distillation to Multi-task Speech Representation Learning [2.0908300719428228]
  音声表現学習モデルは多数のパラメータを使用し、最小のバージョンは95万のパラメータを持つ。 本稿では,知識蒸留の音声表現学習モデルへの適用と微調整について検討する。 その結果,0.1%の精度と0.9%の誤り率低下に悩まされる一方,モデルサイズが75%近く減少することがわかった。
  論文  参考訳（メタデータ） (2022-10-29T14:22:43Z)
• Learning to Prune Deep Neural Networks via Reinforcement Learning [64.85939668308966]
  PuRLは、ニューラルネットワークのプルーニングのためのディープ強化学習ベースのアルゴリズムである。 現在の最先端の手法に匹敵する幅と精度を実現している。
  論文  参考訳（メタデータ） (2020-07-09T13:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。